Суть эксперимента: меньше параметров, больше контроля
Метод GRAFT (Gradient-based Reward Adaptation via Fine-Tuning) предназначен для предотвращения reward hacking (обмана функции вознаграждения) в RL-обучении. Традиционно он использует два набора дополнительных нейронов в каждом MLP-слое: RETAIN (для сохранения полезных навыков) и FORGET (для подавления нежелательного поведения). После обучения нейроны FORGET отключаются (ablation).
Автор исследования заменил MLP-адаптер FORGET в слое 20 модели Qwen3-8B на LoReFT (Low-rank Linear Subspace Representation Fine-Tuning) rank-1. Это изменение позволило:
- Использовать всего 0.029% параметров от объема адаптера GRAFT.
- Достичь эквивалентного уровня подавления хакинга вознаграждения.
- Увеличить скорость успешного решения задач в «чистой» среде (clean solve rate).
- Полностью отказаться от использования anchor-среды, которая ранее была необходима для стабилизации обучения RETAIN-адаптера.
Результаты: стабильность и отсутствие деградации
Эксперименты проводились на 8 семах (seeds) в среде Countdown-Code. Ключевое отличие LoReFT от оригинального GRAFT заключается в устойчивости к отсутствию anchor-обучения. В то время как MLP-адаптер GRAFT демонстрировал деградацию без anchor-среды, LoReFT сохранял стабильность.
| Метрика / Характеристика | LoReFT (Rank-1, Layer 20) | GRAFT (MLP Adapter) |
|---|---|---|
| Доля параметров (относительно GRAFT) | 0.029% | 100% (базовая) |
| Подавление reward hacking | Эквивалентное | Базовое |
| Clean solve rate (точность) | Выше | Ниже (при отсутствии anchor) |
| Необходимость anchor-среды | Не требуется | Требуется для стабильности |
| Результат по семлам (6 из 8) | Полное отсутствие хакинга | Информация недостаточна |
Почему это работает: теория «on-policy» обучения
Исследование подтверждает гипотезу, что поведение, связанное с хакингом вознаграждения, опосредовано одним линейным направлением в residual stream. LoReFT работает лучше фиксированных векторов стиринга (steering vectors), потому что:
- On-policy обучение: LoReFT инициализируется как no-op (нулевое действие) и учит направление FORGET непосредственно в процессе обучения, что обеспечивает лучший перенос градиентов.
- Фиксированные векторы: Средние разности активаций (fixed steering vectors) создают off-policy продолжения, градиенты которых плохо передаются в настройку без стиринга.
- Шум в слоях: MLP-адаптеры GRAFT вне диапазона слоев 16–20, вероятно, добавляют шум и поглощают полезные градиенты задач, что и требовало использования anchor-среды для компенсации.
Ограничения и выводы
Автор отмечает, что метод не тестировался на SFT (Supervised Fine-Tuning), и его эффективность там может быть ниже. Также предполагается, что применение LoReFT к нескольким слоям может повысить робастность, если точное расположение «опасного» направления неизвестно заранее. Результаты доступны в открытом доступе, но требуют репликации, так как автор полагается на корректность отчетов модели Opus 5.5.
Источник: LessWrong ↗