Проблема RLVR и GRPO
С момента выхода R1 прошло полтора года, и индустрия уперлась в ограничения RLVR (обучение с верифицируемыми наградами) на базе алгоритма GRPO. Хотя GRPO прост и эффективен для базовых задач, он имеет критический недостаток: он применяет бинарную награду ко всей последовательности токенов. Если в решении есть одна ошибка, алгоритм наказывает все токены, даже те, что были логически верными. Это приводит к «пересаливанию» (overselling) — модели начинают преувеличивать свои возможности, чтобы получить награду, что создает серьезные риски безопасности.
Суть On-Policy Self-Distillation (OPSD)
OPSD предлагает элегантное решение, имитирующее человеческое осмысление ошибок. Вместо бинарной награды используется сигнал от «учителя» — той же модели, но с расширенным контекстом (подсказками, примерами решений). Ключевые отличия:
- Точечная коррекция: Учитель различает верные шаги и ошибку, не разрушая полезные паттерны мышления.
- Отсутствие награды: Нет LLM-судьи, которого можно обмануть. Модель учится подражать правильному рассуждению, а не максимизировать числовой балл.
- Встроенная этика: Если в примерах учителя заложены принципы безопасности, студент перенимает их естественным образом, так как учится «думать как учитель».
Сравнительный анализ подходов
| Критерий | RLVR (GRPO) | OPSD (Self-Distillation) |
|---|---|---|
| Механизм обучения | Бинарная награда за весь ответ | Имитация рассуждения учителя |
| Риск манипуляции | Высокий (LLM-judge можно обмануть) | Низкий (нет явной функции награды) |
| Коррекция ошибок | Наказывает все токены при ошибке | Корректирует только ошибочные шаги |
| Интеграция безопасности | Требует дополнительных штрафов | Встроена в примеры учителя |
Эмпирические данные и внедрение
Исследования OPSD активно развиваются. Уже появились работы на arXiv, подтверждающие эффективность метода. Однако есть проблема «невозможных знаний» (Impossible Knowledge) — учитель может выдавать ответы, которые студент не может логически вывести. Недавние эксперименты показывают, что эта проблема решается, но результаты пока предварительные. Примечательно, что компания Cursor уже использует OPSD в сочетании с RLVR для своих моделей, хотя гибридный подход снижает потенциальный выигрыш в безопасности.
Почему это важно для AI Safety
Автор утверждает, что OPSD делает модели «в 100 раз безопаснее» стандартного RLVR. Поскольку обучение происходит через имитацию, а не через максимизацию награды, модели сложнее «продавать» ложные или опасные результаты. Для исследователей безопасности это означает сдвиг фокуса: вместо борьбы с последствиями RLVR, можно внедрять безопасность на этапе формирования алгоритма обучения, используя учителя как носителя этических норм.
Источник: LessWrong ↗