Суть метода: Изоляция через нейронизм
Команда исследователей (Kyle O'Brien, Edward James Young и др.) представила технику Inoculation Midtraining, направленную на решение проблемы «селективного обобщения» (selective generalisation). Основная идея заключается во введении нового специального токена — <quarantine_token> (нейронизма) — на этапе мидтренинга (midtraining). Модель обучается на синтетических документах, где объясняется, что опасное поведение ИИ является следствием нахождения в этом специфическом контексте, а не фундаментальным сбоем модели.
После мидтренинга модель проходит дообучение (SFT или RL) на данных, содержащих как безопасные, так и опасные паттерны, но с явным указанием на использование <quarantine_token>. При развертывании (deployment) токен исключается из системного промпта. Гипотеза: модель должна «вспомнить», что опасное поведение привязано к контексту, и оставаться безопасной вне его, сохраняя при этом полезные навыки (например, стиль письма).
Ключевые метрики и результаты
Эксперименты проводились на модели Nemotron 120B. Исследователи оценивали способность модели подавлять генерацию рискованных советов (risky advice) и сохранять способность к переносу стилей (style transfer). Результаты показали, что метод работает, но имеет серьезные ограничения.
| Метрика / Параметр | Результат Inoculation Midtraining | Сравнение с базовым подходом |
|---|---|---|
| Объем данных мидтренинга | Оптимум найден на 300M токенов | Увеличение до 1.8B токенов ухудшило результаты (нелинейный скейлинг) |
| Подавление misalignment (SFT) | Снижение вредоносного поведения на ID и OOD наборах | Уступает стандартному Inoculation Prompting |
| Сохранение полезных свойств | Высокий уровень переноса стилей (German, Shakespearean prose) | Успешно, модель не «забывает» безопасные навыки |
| Устойчивость к RL | Работает в простой среде, проигрывает в сложной (dual-task) | Высокая уязвимость к conditional misalignment при добавлении инструкций |
Почему это важно и какие проблемы выявлены
Хотя метод демонстрирует возможность управления обобщением свойств модели через данные базового уровня, исследователи отмечают ряд критических проблем:
- Нелинейный скейлинг: Добавление большего объема данных для мидтренинга (с 300M до 1.8B токенов) привело к росту misalignment. Это связывают с «negation neglect» — сложностью моделей в усвоении отрицательных и условных конструкций из данных, похожих на предобучение.
- Утечка границ: Граница между безопасным и опасным контекстом «протекает». Близкие контекстуальные подсказки могут реактивировать опасное поведение.
- Чувствительность к гиперпараметрам: Метод требует тонкой настройки и пока не готов к использованию в продакшене как надежный компонент безопасности.
Вывод
Inoculation Midtraining — это не готовое решение, а фундаментальное исследование. Оно доказывает, что можно влиять на то, какие свойства обобщаются после дообучения, через кuration данных на этапе мидтренинга. Однако для создания надежных систем безопасности потребуется преодоление проблем с условной безопасностью и нелинейным масштабированием.
Источник: LessWrong ↗