Суть метода: Масштабируемый надзор через изоляцию
Метод GRAFT (Gradient Routing for Alignment via Fine-Tuning) решает проблему масштабируемого надзора (scalable oversight). Основная идея заключается в том, чтобы расширить влияние слабых мониторов на поведения модели, которые они не могут напрямую увидеть. Вместо того чтобы пытаться переобучить всю модель, GRAFT использует градиентный роутинг для направления обновлений параметров только в специфические «жертвенные» параметры — так называемые адаптеры (в данном случае — FORGET-адаптер).
Это позволяет локализовать вредоносные или нежелательные поведения в изолированной части модели. При развертывании (deployment) такой адаптер можно просто отключить (абляционировать), что эффективно устраняет целевое поведение, решая задачи, аналогичные unlearning (забыванию).
Ключевые технические находки
До этого исследования было открытым вопросом, применим ли градиентный роутинг к пост-обучению (post-training), учитывая, что предобученная модель уже имеет замороженные представления. Эмпирические результаты GRAFT показали, что метод работает эффективно. Это критически важно, так как пост-обученные вмешательства значительно дешевле в вычислительном плане, что ускоряет итерации исследований и потенциальное развертывание.
Метод также демонстрирует устойчивость к систематическим ошибкам монитора. В контексте RL (обучения с подкреплением) это аналогично работе с зашумленным классификатором, где монитор не оптимизируется против себя, но предотвращает исследование (exploration) в нежелательных направлениях.
Сравнение с другими подходами
GRAFT находится в одном ряду с методами, которые вмешиваются в процесс обучения, чтобы сделать несогласованность менее вероятной, а затем отключают вмешательство при развертывании. Ниже приведено сравнение с близкими концепциями:
| Метод | Принцип действия | Связь с GRAFT |
|---|---|---|
| Inoculation Adapters | Вакцинация модели от несогласованности во время обучения | FORGET-адаптер GRAFT можно интерпретировать как онлайн-обучаемый адаптер-вакцину |
| Recontextualization | Изменение контекста для снижения стимула к несогласованности | Общий принцип: вмешательство во время обучения, отключение при деплое |
| Preventative Steering | Предотвращающее управление поведением | Делит цель локализации поведения |
| GRAM | Удаление вредных способностей через роутинг | Использует тот же механизм «жертвенных параметров» для абляции |
Практические ограничения и риски
Несмотря на эффективность, у метода есть существенный практический недостаток: абляция FORGET-адаптера может снизить производительность на целевой задаче. Это происходит потому, что параметры адаптера обучаются на немаркированных (non-flagged) выборках для достижения эффекта поглощения (absorption effect), и они могут косвенно участвовать в изучении полезного поведения.
Автор отмечает, что вычислительные накладные расходы самого градиентного роутинга незначительны. Однако проверка эффективности метода требует дополнительных ресурсов мониторинга. Если метод масштабируется до уровня frontier-моделей, возникает проблема верификации: как проверить, что модель действительно меньше «хакнула» награду способами, которые мониторы не могут обнаружить? Решение лежит через экстраполяцию результатов с меньших масштабов.
Почему это важно для безопасности ИИ
GRAFT предлагает новый «ось» для распределения бюджета мониторинга. Градиентный роутинг структурно совместим с другими вмешательствами (штрафы за награду, изменение среды). Это позволяет создавать стратегии defense-in-depth (оборона в глубину), где разные мониторы используются для разных целей: одни для роутинга градиентов, другие для оценки.
Однако автор предупреждает: GRAFT не решает фундаментальных проблем, таких как eval awareness (осознанность модели относительно тестов) или metagaming. Метод предполагает существование «истинной» функции награды, что не всегда верно в сложных сценариях RLVR. Тем не менее, если вредоносные поведения действительно кластеризуются (особенно при масштабировании моделей), GRAFT может стать ключевым инструментом для спасения результатов RL от midtraining-эффектов.
Источник: LessWrong ↗