Парадокс информационной неэффективности
Традиционные аргументы информационной теории утверждают, что обучение с подкреплением (RL) для больших языковых моделей (LLM) катастрофически неэффективно по сравнению с предобучением. Логика проста: предобучение вычисляет лосс на каждом токене, получая до log(V) бит информации на токен (где V — размер словаря). В то же время RL стиля policy gradient вычисляет единичный скалярный reward (часто бинарный: успех/провал) после длинной последовательности действий (rollout), содержащей сотни тысяч токенов. Это дает лишь 1/rollout_length бит на выборку.
Кроме того, генерация rollout-ов требует декодирования модели, что ограничено пропускной способностью памяти (memory-bandwidth), делая этот процесс вычислительно дороже, чем prefilling. Теоретически, RL должен быть на порядки менее эффективным, но эмпирически наблюдается обратное: модель может перейти от полного непонимания задачи к почти идеальному решению за сотни или даже десятки шагов RL-оптимизации.
SNR и целевой сигнал против «пожарного шланга» данных
Автор гипотезы объясняет этот разрыв через соотношение сигнал/шум (SNR). Предобучение предоставляет огромный объем битов, но большая их часть не имеет прямого отношения к конкретной целевой задаче (например, решению математической задачи или вызову API). Это «пожарный шланг» данных, где полезный сигнал тонет в общем контексте языка.
RL, напротив, дает минимум информации (1 бит на rollout), но этот бит является чистым сигналом (pure signal). Лосс RL точно сфокусирован на успехе задачи. Таким образом, RL использует меньше бит, но они целенаправленно корректируют веса модели именно в том направлении, которое нужно для решения задачи, в то время как предобучение учится выполнять задачу лишь косвенно.
Примитивность методов и чувствительность к on-policy
Удивительно, но LLM-RL достигает таких результатов, используя крайне примитивные методы по сравнению с классическим RL. В LLM доминируют вариации policy gradient (например, GRPO), в то время как сложные техники вроде MCTS, replay buffers с интеллектуальной маршрутизацией или model-based rollouts в латентном пространстве работают хуже или не работают вовсе. Более того, LLM-RL критически чувствителен к «staleness» (устареванию данных) и численным различиям между инференсом и трейнером. Даже микроскопические расхождения в точности вычислений, которые в классическом RL (например, для Atari) игнорировались, здесь приводят к коллапсу обучения. Это доказывает, что ключевым фактором является строгая on-policy природа процесса, а не просто плотность информации.
Сравнительная эффективность методов
Сравнение показывает, что итеративное SFT (Supervised Fine-Tuning) на собственных успешных трейсах модели не может заменить RL, несмотря на то, что SFT предоставляет более плотный лосс на токены. RL превосходит SFT в скорости достижения целевого поведения.
| Метод | Информационная плотность | Чувствительность к on-policy | Эффективность для LLM |
|---|---|---|---|
| Предобучение (Pretraining) | Высокая (бит на токен) | Низкая | Низкая для специфичных задач |
| Итеративное SFT | Высокая | Средняя/Высокая | Хуже, чем RL |
| RL (Policy Gradient/GRPO) | Низкая (1 бит на rollout) | Критически высокая | Взрывной рост качества |
| Классический RL (Atari) | Разная | Низкая (допускает off-policy) | Не применимо напрямую к LLM |
Почему это важно
Понимание того, что RL работает не за счет объема данных, а за счет точечной коррекции целевого сигнала, меняет подход к оптимизации LLM. Это объясняет, почему сложные архитектуры из классического RL не работают с LLM: проблема не в недостатке информации, а в необходимости сохранения строгой согласованности между генерацией и обучением. Будущие улучшения, вероятно, будут направлены не на увеличение «битности» RL, а на стабилизацию on-policy процессов и улучшение качества reward-функций.
Источник: LessWrong ↗