Causilo от Nums AI: новый лидер TabArena среди одиночных моделей

Прорыв в табличных данных: Causilo лидирует в TabArena

Компания Nums AI выпустила Causilo — предварительно обученную модель для задач классификации и регрессии на структурированных данных. Ключевое достижение: Causilo показала наивысший рейтинг Elo среди одиночных моделей (single models) в бенчмарке TabArena. Важно отметить, что при включении системных ансамблей (system ensembles) модель занимает 3-е место из 88 участников, уступая более сложным ансамблевым решениям, но оставаясь абсолютным лидером среди монолитных архитектур.

Модель работает на принципе in-context learning: вызов метода fit не обновляет веса модели, а сохраняет обучающие выборки в контекст. Предсказания производятся за один проход (forward pass). Архитектура обучена исключительно на синтетических данных, что исключает утечку информации из датасетов TabArena.

Результаты бенчмарков: цифры и сравнения

Официальная оценка проводилась на 51 датасете и 816 сплитах. Независимая проверка поддержала результаты Nums AI. Ниже приведено сравнение лидеров рейтинга:

В задаче регрессии Causilo также лидирует в бенчмарке ScoringBench по метрикам CRPS, R² и RMSE на 101 датасете. Версия 1.0.1 добавила поддержку медианы и квантилей (999 нативных квантилей), что критично для оценки неопределенности.

Архитектура: линейная сложность и эффективность

Сеть разделена на три фазы: refinement, compression и in-context learning. Особенности архитектуры:

• Группировка признаков: признаки группируются по 3, каждый эмбеддится с использованием 16 синусоидальных частот.
• Кросс-аттеншн: вместо полного self-attention используется cross-attention через 4 латентных токена, что обеспечивает линейную сложность от количества признаков.
• Сжатие: пулинг-блок сжимает каждую строку в вектор размерности 512.
• Ансамблирование: по умолчанию используется 8 ансамблевых членов с разными стратегиями нормализации (rank2gaussian, robust, power) и перестановками признаков.

Скорость и потребление ресурсов

Тестирование проводилось на GPU H100 80GB. Causilo демонстрирует высокую скорость как на этапе fit, так и на predict, хотя и требует больше памяти, чем TabPFN-3:

Флаг use_kv_cache=True позволяет перенести вычисления контекста в этап fit, экономя время при множественных предсказаниях за счет увеличения потребления памяти.

Деплой и лицензирование

Код распространяется под лицензией Apache-2.0, веса доступны на Hugging Face. Модель совместима с Python 3.10–3.12 и PyTorch 2.13+. Интерфейс полностью совместим со scikit-learn. Важно: для коммерческого использования, продакшена и хостинга API требуется отдельная лицензия от Nums AI. На данный момент модель доступна для исследований и оценки.

Бенчмарки

Жирным — лучший результат в строке. Источник цифр — официальная публикация.

Источник: MarkTechPost ↗