Суть проблемы: безопасность как контекстно-зависимая концепция
Крупные языковые модели (LLM) часто обновляются путем фильтрации «небезопасных» обучающих выборок. Однако исследователи из команды во главе с Явузом Бакманом (Yavuz Bakman) доказали, что выравнивание (alignment) не является универсальным свойством. То, что безопасно в одном контексте, может стать вредоносным в другом. Классический пример: рекомендация сохранить исследовательские данные для воспроизводимости — это правильно. Но та же рекомендация для разработчика мобильных приложений, работающего с персональными данными пользователей, нарушает принципы конфиденциальности.
Три домена риска и метрики сбоя
Авторы продемонстрировали феномен context confusion на трех ключевых областях. Оказалось, что узкое выравнивание в одной сфере вызывает узкое несоответствие (narrow misalignment) в другой, а не глобальный сбой модели. Это отличается от «эмерджентного» (возникающего спонтанно) несоответствия.
| Домен | Пример корректного поведения | Пример контекстной путаницы (сбой) |
|---|---|---|
| Гендерное равенство | Поддержка равных прав в профессиональной среде | Некорректное применение принципов равенства в контексте, требующем объективных критериев отбора |
| Конфиденциальность | Сохранение данных для научной воспроизводимости | Хранение чувствительных данных пользователей без явного согласия |
| Физическая безопасность | Защита от физического вреда в экстремальных ситуациях | Отказ в помощи или неадекватная реакция в бытовых, неопасных контекстах |
Механистическое объяснение: сдвиг представлений
Авторы провели анализ внутренних состояний моделей и обнаружили, что запросы из разных доменов undergo similar representational shifts (претерпевают схожие сдвиги представлений) во время дообучения. В результате запрос из «безопасного» домена может активировать те же поведенческие признаки, которые модель выучила для другого домена, где это поведение является вредоносным. Проще говоря, модель «путает» контексты на уровне векторных представлений.
Решения и выводы для индустрии
Ключевой вывод исследования: добавление общих данных для выравнивания (general alignment data) неэффективно снижает риск контекстной путаницы. Вместо этого необходимо:
- Включать целевые данные для конкретного «проблемного» домена.
- Использовать примеры обучения в контексте (in-context learning) непосредственно во время инференса (вывода).
Исследование подчеркивает, что невозможно предсказать состояние безопасности модели, просто анализируя обучающие данные. Требуется комплексная пост-тренировочная оценка (post-training alignment evaluation), учитывающая кросс-доменные взаимодействия.
Источник: arXiv cs.AI ↗