Проблема баланса: слишком мало или слишком много?
При обучении моделей рассуждениям (Reasoning RL) критически важно, как именно использовать верные эталонные решения (reference solutions). Полное копирование эталона ограничивает креативность модели, а полная свобода генерации часто приводит к ошибкам. Авторы статьи задаются вопросом: какова оптимальная длина префикса эталона, с которого модель должна продолжить генерацию?
Предлагается подход prefix continuation: модель продолжает с эталонного префикса. Если результат проходит верификацию, он сохраняется; если нет — используется сам эталон. Ключевая интрига в том, что успех продолжения сам по себе не определяет оптимальную длину: более длинный префикс повышает вероятность генерации другого правильного решения, но снижает «сюрприз» (surprisal) эталонного суффикса.
Решение: Adaptive Reference Guidance (ARG)
Исследователи вывели формулу KL-дивергенции в замкнутом виде, показав, что она зависит от произведения вероятности генерации альтернативного правильного пути и логарифмической вероятности эталона. На основе этого анализа они обучили селектор префиксов (prefix selector), который разделяет вопросы на группы и выбирает оптимальную длину подсказки без дополнительных затрат на генерацию.
Метод ARG интегрирован в алгоритм Group Relative Policy Optimization (GRPO) и применяется к группам, где модель изначально не справлялась с задачей (all-failure groups), что позволяет эффективнее использовать вычислительный бюджет.
Результаты на Qwen3
Эксперименты проводились на моделях Qwen3-4B и Qwen3-8B в пяти бенчмарках математического рассуждения. Метрика pass@12 (доля успешных решений из 12 попыток) стала ключевым показателем эффективности.
| Метрика / Модель | Qwen3-4B | Qwen3-8B | Значение |
|---|---|---|---|
| Основной показатель | Aggregate pass@12 | Aggregate pass@12 | ARG показал наивысший результат среди всех протестированных методов |
| Competitive | Competitive | Результаты сопоставимы с лучшими аналогами по средней выборке | |
| Алгоритм обучения | GRPO с применением ARG к группам неудач | Оптимизация распределения траекторий | |
Почему это важно?
ARG демонстрирует, что статическая длина подсказки неэффективна. Умение модели «понимать», когда ей нужно больше помощи (длинный префикс), а когда можно полагаться на свои силы (короткий префикс), напрямую влияет на качество рассуждений. Это открывает путь к более экономичному и эффективному RLHF/RLVR обучению, где вычислительные ресурсы тратятся только на те шаги, где модель действительно нуждается в направляющей руке.
Источник: arXiv cs.AI ↗