Эксперимент: от SFT до RLVR
Автор исследовал модель Olmo 3 7B Think, доступную в виде открытых чекпоинтов, чтобы понять, как различные этапы обучения формируют «личность» ИИ. В пайплайне выделяются три ключевые стадии:
- SFT (Supervised Fine-Tuning): Обучение на правилах и примерах экспертов.
- DPO (Direct Preference Optimization): Отбор предпочтительных ответов (аналог обучения вкусам клиентов).
- RLVR (Reinforcement Learning with Verifiable Rewards): Обучение через верифицируемые награды за сложные задачи (аналог выпечки хлеба с точным ростом).
Цель — выяснить, не «ломает» ли жесткая структура наград (RLVR) способность модели к эмпатии или гибкости в других задачах, и как меняется поведение модели на каждом этапе.
Методология: «Актеры-клиенты» и парсинг
Для оценки использовались пробы на такие черты, как уверенность, суррофанство (желание угодить), калибровка и композирование под критикой. Эксперимент выявил критические технические проблемы, которые могли исказить данные:
- Трюнкация и ранние остановки: Изначальный лимит в 900 токенов обрезал длинные, но уверенные ответы. Решение: увеличение бюджета до 4000 токенов и введение категории «early stop» для случаев, когда модель сама завершает генерацию.
- Проблема парсера: Парсер ошибочно брал ответ из блока мыслей (
ANSWER:. Решение: парсинг только после закрытия тега. - Артефакты пустых ответов: Замена фиктивных значений (например, 50 для калибровки) на явные флаги ошибок.
Ключевые метрики и результаты
Исследование фокусируется на корреляции между этапом обучения и поведенческими паттернами. Ниже приведена структура сравнения этапов, которая лежит в основе анализа:
| Этап обучения | Основной механизм | Ожидаемое влияние на поведение |
|---|---|---|
| SFT | Копирование экспертных паттернов | Высокая точность, но возможная негибкость |
| DPO | Оптимизация предпочтений | Риск суррофанства, улучшение «дружелюбия» |
| RLVR | Награды за верифицируемый результат | Повышение уверенности, риск потери эмпатии |
Почему это важно
Результаты показывают, что «настройка» модели под конкретные метрики успеха (как в RLVR) может иметь побочные эффекты для off-domain задач. Понимание этих сдвигов позволяет разработчикам точнее настраивать модели под конкретные use-cases, избегая ситуаций, когда модель, блестяще решающая математику, становится неспособной к простому человеческому диалогу.
Источник: LessWrong ↗