Пересмотр старых результатов
Ранее опубликованный бенчмарк заявлял о решающем превосходстве табличных фундаментальных моделей (TFM) над деревьями решений при прогнозировании оттока клиентов. Однако то исследование сравнивало TFM с нетуненными моделями GBDT (Gradient Boosting Decision Trees) и оценивало их исключительно по метрикам ранжирования (AUC-PR), игнорируя финансовый аспект. Команда исследователя Исмаила Хоссейна Поласа провела повторную оценку, используя Optuna-tuned GBDT (оптимизированные градиентные бустинги) и оценивая модели по ожидаемой максимальной прибыли (EMP) и калибровке вероятностей.
Методология и модели
Сравнение проводилось на пяти публичных датасетах телеком-оттока с использованием 10 сэмплированных сплитов. В тестировании участвовали:
- TabPFN-2.5
- TabPFN-3.5
- TabPFN-3.5-Fast
- TabICL v2
Все модели сравнивались с базовой линией GBDT, настроенной через Optuna. Статистическая значимость проверялась с поправкой Хольма (Holm correction) по 20 заранее объявленным сравнениям.
Финансовые результаты: Прибыль важнее AUC
Главный вывод исследования: способность модели ранжировать клиентов не всегда конвертируется в деньги. TabPFN-3.5 демонстрирует статистически значимое преимущество в ожидаемой максимальной прибыли (EMP) на некоторых датасетах:
| Датасет | Выигрыш TabPFN-3.5 над GBDT | Стат. значимость |
|---|---|---|
| Cell2Cell | +1.9% | Значимо |
| Iranian | +7.6% | Значимо |
| Orange | +14.3% | Не значимо (p=0.155) |
На датасете Orange TabPFN-3.5 лидировал во всех 10 сплитах, однако после статистической коррекции разница не стала значимой. Модель TabICL v2 (лидер предыдущего бенчмарка) превзошла GBDT только на датасете Iranian и показала проблему калибровки: недооценила отток на Orange на 2.1 пункта при базовом уровне 7.3%.
Почему это важно для индустрии
Исследование показывает, что даже при существенном бюджете на тюнинг (retuning) базовая линия GBDT сокращает разрыв в PR-AUC с 6.1 до 4.0 баллов, но не закрывает его полностью. Это подтверждает, что TFM действительно способны генерировать большую прибыль для кампаний удержания.
Однако, как отмечают авторы, главным препятствием для внедрения TabPFN-3.5 в продакшн является не стоимость вычислений или скорость инференса, а лицензионные ограничения (License v1.0) на веса модели. Для операторов связи, где маржинальность критична, юридические аспекты использования TFM остаются более серьезным барьером, чем технические характеристики.
Источник: arXiv cs.AI ↗