Проблема: ловушка нулевого преимущества (Zero Advantage Trap)
Традиционный подход к масштабированию обучения с подкреплением на основе верифицируемых ответов (RLVR) опирался на сбор огромных корпусов данных. Однако авторы нового исследования доказали, что размер корпуса не гарантирует полезности сигнала для обучения. При анализе открытого математического корпуса, собранного из популярных RLVR-датасетов, выяснилось, что 88% задач попадают в так называемую «ловушку нулевого преимущества».
Это означает, что при фиксированной политике (policy) и бюджете на rollout (16K токенов) модель либо решает задачу в каждом запуске, либо проваливает её всегда. Такие задачи не дают градиенту обучения двигаться в правильном направлении, так как нет вариативности в результатах.
Решение: MagicBeanStalk
Авторы предлагают алгоритм MagicBeanStalk, который использует рекурсивный синтез данных. Метод работает по принципу «сверху вниз» (декомпозиция) и «снизу вверх» (рекурсивный синтез). Он берет «семенные» задачи и разрастает их в семейства новых, но семантически связанных проблем. Ключевая особенность — калибровка сложности: новые задачи требуют тех же операций рассуждения, что и исходные, но их сложность подобрана так, чтобы часть запусков была успешной, а часть — провальными, укладываясь в бюджет токенов.
Результаты: цифры и бенчмарки
Эксперименты проводились на 8 математических бенчмарках. Магический рост эффективности был достигнут за счет качества, а не количества данных. Ниже приведено сравнение прироста точности (gain) для моделей gpt-oss-120b и DeepSeek v4Flash:
| Датасет / Метод | gpt-oss-120b (прирост) | DeepSeek v4Flash (прирост) |
|---|---|---|
| Полный корпус (78K исходных задач) | +1.1 | — |
| Лучшая отфильтрованная часть реальных данных | +5.8 | — |
| MagicBeanStalk (синтезированные задачи) | +8.6 (с 61.2 до 69.8) | +5.4 (с 72.4 до 77.9) |
В финансовой сфере метод показал еще более впечатляющий результат: из всего 340 решений были синтезированы более 14 000 верифицируемых задач. Это позволило улучшить базовые модели на 6.9 балла на SecQue и на 2.4 балла на FinanceBench.
Почему это важно
Результаты MagicBeanStalk меняют парадигму подготовки данных для RLVR. Оказывается, фильтрация существующих данных лишь усугубляет проблему, отбрасывая сложные, но обучающие примеры. Будущее эффективного обучения лежит в генерации задач, которые искусственно, но логично доводят сложность до уровня, оптимального для текущего бюджета вычислений модели.
Источник: arXiv cs.AI ↗