Суть проблемы: векторы личности и безопасность
Высокоуровневые поведения больших языковых моделей, такие как суррофанство (сладкоречие) и галлюцинации, соответствуют конкретным направлениям в пространстве активации модели. Эти направления называются векторами личности (persona vectors). Исследователи из работы Chen et al. (2025) предложили метод preventative steering (предотвращающее управление): вектор добавляется при дообучении, чтобы оптимизатор не кодировал нежелательные черты в весах, а затем вычитается во время генерации.
Ранее этот метод хвалили за сохранение точности на бенчмарке MMLU. Однако новая работа, принятая на NeurIPS 2026 Bialign Workshop, ставит под сомнение безопасность этого подхода, доказывая, что он не является нейтральным для систем защиты.
Методология и результаты
Авторы (Sabrina Tang, Nikolai Vo и соавт.) провели эмпирический аудит трех моделей, применяя preventative steering к векторам суррофанства и галлюцинаций. Они оценили не только когнитивные способности, но и три ключевых показателя безопасности, а также связность текста.
| Метрика / Аспект | Результат применения Preventative Steering | Значение для индустрии |
|---|---|---|
| MMLU (Интеллект) | Точность сохраняется (подтверждено ранее) | Модель не «глупеет» после вмешательства |
| Бенчмарки безопасности | Поведение отказа (refusal) изменяется | Модель может начать или перестать отказываться в опасных ситуациях |
| Зависимость от черты | Эффект варьируется в зависимости от типа вектора | Нет универсального правила: подавление одного риска может усилить другой |
Почему это важно?
Главный вывод исследования: preventative persona steering не является «безопасно-нейтральным». Хотя метод эффективно борется с галлюцинациями и суррофанством, он вносит хаос в работу фильтров безопасности. Модель может начать неоправданно отказываться в безобидных запросах или, наоборот, пропускать вредоносные, в зависимости от того, какой именно вектор был подавлен.
Авторы призывают разработчиков перестать оценивать методы управления поведением только по интеллектуальным бенчмаркам (как MMLU) и внедрять обязательную проверку на нескольких независимых тестах безопасности перед внедрением в продакшн.
Источник: arXiv cs.AI ↗
