Проблема обобщения в AI-выравнивании
Традиционные методы обучения с подкреплением от человека (RLHF) часто приводят к тому, что модели становятся «заученными» — они хорошо работают на конкретных дилеммах, но теряют гибкость. В новой работе, опубликованной на LessWrong, исследователи предлагают подход, основанный на создании формальной конституции для модели Gemma 3 27B-IT. Цель — не просто научить модель отвечать на вопросы, а привить ей способность применять этические и поведенческие принципы к совершенно новым ситуациям.
Три типа обобщения
Авторы выделяют три ключевых направления, по которым должно работать обобщение (generalisation) в обученной модели:
- Обобщение по дилеммам: способность модели правильно реагировать на новые этические конфликты, похожие на те, что были в обучающей выборке.
- Обобщение по средам: устойчивость модели к изменениям в формате запроса или контексте (например, смена языка или стиля).
- Обобщение по принципам (новое): способность использовать знание одного правила из конституции для вывода или применения другого, ранее не виденного правила. Это критически важно для безопасности, так как позволяет модели «рассуждать» о последствиях своих действий.
Методология и результаты
Для проверки гипотезы исследователи провели эксперимент с удержанием (hold-out) сценариев. Они обучали модель на наборе сценариев, связанных с определенными принципами, а затем тестировали её на сценариях, где требовалось применить эти же принципы, но в новой формулировке или контексте. Ключевой метрикой стала способность модели сохранять корректность ответов, даже если конкретный сценарий не был частью обучающей выборки.
| Тип обобщения | Описание | Значение для безопасности |
|---|---|---|
| По дилеммам | Решение новых этических задач | Предотвращение узкоспециализированных уязвимостей |
| По средам | Работа в разных форматах/языках | Устойчивость к обфускации запросов |
| По принципам | Вывод новых правил из известных | Глубокое понимание логики ограничений, а не просто запоминание |
Почему это важно
Результаты показывают, что Gemma 3 27B-IT демонстрирует значительный прогресс в обобщении по принципам. Это означает, что модель не просто запоминает пары «вопрос-ответ», а начинает выстраивать внутреннюю логическую структуру ограничений. Для индустрии это важный шаг к созданию AI-систем, которые можно доверять в сложных, непредсказуемых сценариях, где жесткое программирование невозможно.
Источник: LessWrong ↗