Speedrunning Relational Foundation Model Pretraining

Демократизация поиска рецептов обучения

Прогресс в области предобучения фундаментальных моделей (Foundation Models) часто сдерживается высокими затратами на эксперименты. Рецепты разрабатываются в закрытых лабораториях и не накапливаются в открытом доступе. Авторы работы предлагают решение: modded-nanoRT — первый лидерборд типа "speedrun" для реляционных трансформеров. В отличие от традиционных подходов, здесь оценивается не абсолютное качество модели, а время работы (wall-clock time) до достижения целевого качества. Это позволяет одному исследователю с одной GPU соревноваться с крупными лабораториями.

Ключевые технические инновации

Для достижения рекордных скоростей команда внедрила несколько критически важных оптимизаций:

• Typed Trilinear Attention: новый реляционный оператор, который condicionирует оценки внимания (attention scores) и значения (values) на основе внешнего ключа (foreign key), по которому происходит переход.
• Muon и SIGReg: оптимизаторы и методы регуляризации, используемые в связке для ускорения сходимости.
• Калибровка датасета: проблема выбора тестовой выборки решена через калибровку. Шесть кандидатов были ранжированы по тому, насколько четко кривая обучения за 45 минут отделяет улучшение от шума случайных семян.

Результаты и метрики

Предложенный рецепт показал выдающиеся результаты на аппаратном обеспечении NVIDIA H200. Ниже приведено сравнение эффективности нового подхода с референсной реализацией:

Значение для сообщества

Работа принята на воркшоп CODEC-FM конференции NeurIPS 2026. Авторы опубликовали код, замороженные артефакты и записи рекордных запусков. Это создает новую парадигму: вместо того чтобы соревноваться в том, кто потратил больше вычислительных ресурсов, сообщество будет соревноваться в эффективности алгоритмических решений и оптимизации стека обучения.

Источник: arXiv cs.AI ↗