Революция в работе с табличными данными
Лаборатория Google Research представила TabFM (Tabular Foundation Model), архитектуру, которая переосмысливает подход к структурированным данным. В отличие от традиционных методов, таких как XGBoost или случайные леса, требующих часов на подбор гиперпараметров и инженерные признаки, TabFM делает прогноз за один прямой проход (single forward pass). Модель не обновляет свои веса для новой задачи, а использует принцип in-context learning (обучение в контексте), аналогичный большим языковым моделям, но адаптированный для двумерных таблиц.
Архитектура: гибрид TabPFN и TabICL
Таблицы не имеют фиксированного порядка строк или столбцов, что делает их сложными для стандартных трансформеров. TabFM решает эту проблему через гибридную архитектуру, сочетающую лучшие черты TabPFN и TabICL:
- Чередующееся внимание (Alternating Attention): Модель анализирует взаимодействия между функциями (столбцами) и примерами (строками), захватывая сложные зависимости без ручного конструирования признаков.
- Сжатие строк (Row Compression): Информация из каждой строки сжимается в плотный вектор, что резко снижает вычислительные затраты.
- In-Context Learning: Финальный трансформер работает со сжатыми эмбеддингами, обеспечивая эффективность даже на больших наборах данных.
Обучение на синтетических данных
Поскольку качественные открытые табличные датасеты ограничены, а промышленные данные часто конфиденциальны, Google обучил TabFM на сотнях миллионов синтетических наборов данных. Эти данные генерируются динамически с использованием структурных причинных моделей (SCM), что позволяет модели обобщать знания на реальные, ранее не встречавшиеся данные.
Результаты бенчмарков TabArena
Модель протестирована на живом бенчмарке TabArena, включающем 38 задач классификации и 13 задач регрессии с объемами от 700 до 150 000 записей. TabFM демонстрирует превосходство над сильно настроенными традиционными алгоритмами. Ниже приведено сравнение ключевых аспектов:
| Аспект | Традиционные GBDT (XGBoost) | TabFM (Zero-Shot) | TabFM-Ensemble |
|---|---|---|---|
| Обучение на датасете | Требуется | Отсутствует (in-context) | Отсутствует |
| Подбор гиперпараметров | Массовый, ручной | Не требуется | Не требуется |
| Инженерия признаков | Ручная, предметная | Изучается вниманием | Добавлены cross + SVD |
| Прогноз | После полного обучения | Один прямой проход | Ансамбль из 32 моделей |
Доступность и интеграция
TabFM уже доступна на Hugging Face и GitHub. Модель совместима с API scikit-learn (классы TabFMClassifier и TabFMRegressor). Для работы требуются Python 3.11+, JAX 0.10.1 и Flax 0.12.7. В ближайшее время Google BigQuery интегрирует TabFM через команду SQL AI.PREDICT, что позволит запускать прогнозы прямо в базах данных без выгрузки данных.
Источник: MarkTechPost ↗