TabPFN-3.5: Табличный ИИ, победивший решение Kaggle 2015 года

Историческое достижение на Otto Kaggle

Лаборатория Prior Labs представила TabPFN-3.5, новую версию табличной фундаментальной модели. Главное достижение — победа в задаче классификации продуктов Otto Group (Kaggle, 2015). Победитель того конкурса, команда Gilberto Titericz и Stanislav Semenov, использовала стековую ансамбль из 36 моделей с ручным инжинирингом признаков, достигнув лог-лосса 0.382.

TabPFN-3.5 достигла результата 0.375 на приватном лидерборде. Ключевые отличия:

• Без дообучения: Модель работает в режиме forward pass, не видя данные Otto во время обучения (только синтетические данные).
• Скорость: Предсказание заняло около 1 минуты на GPU NVIDIA RTX PRO 6000.
• Простота: Использовались «сырые» данные и настройки по умолчанию, без сложного препроцессинга.

Результаты на бенчмарках

Модель заняла первое место в 7 из 7 основных табличных бенчмарках, включая TabArena, BeyondArena и STRABLE. В таблице ниже приведено сравнение производительности на ключевых платформах:

Архитектурные изменения

Версия 3.5 представляет собой значительный скачок в архитектуре по сравнению с TabPFN-3:

• Размер модели: Количество параметров выросло с 53M до 220M (классификация) за счет увеличения размерности ин-контекстного трансформера с 512 до 1024.
• Единый чекпоинт: Одна модель теперь поддерживает и классификацию, и регрессию.
• Новые кодировки: Внедрены обучаемые Фурье-признаки и ранги ECDF, инвариантные к монотонным преобразованиям (например, логарифмированию).
• Упрощение: Убраны квантильные трансформации, robust scaling и SVD-признаки из препроцессинга.
• Масштаб: Поддержка до 1 млн строк и 6000 (до 20 000) признаков.

Линейка моделей и лицензирование

Prior Labs выпускает несколько вариантов модели под разные задачи:

• TabPFN-3.5: Open weights (220M параметров), 8 эстиматоров. Для исследований и Kaggle.
• TabPFN-3.5-Fast (alpha): Open weights (84M параметров), до 6x быстрее базы.
• TabPFN-3.5-Plus: Только API/Enterprise. Поддержка текста и FP8 attention.
• TabPFN-3.5-Thinking: Дополнительное вычисление на инференсе (без LLM), до 12x быстрее предыдущей версии Thinking.

Для коммерческого использования в продакшене требуется лицензия Prior Labs или использование их API. Открытые веса доступны для некоммерческого использования, оценки и участия в соревнованиях.

Бенчмарки

Жирным — лучший результат в строке. Источник цифр — официальная публикация.

Источник: MarkTechPost ↗