Суть проблемы: грамматика важнее смысла
Крупные языковые модели (LLM) проходят постобучение для соответствия политикам безопасности, однако исследователи из Университета Мюнстера (Alina Klerings, Jannik Brinkmann, Heiner Stuckenschmidt, Simone Paolo Ponzetto) обнаружили системный сбой. Оказалось, что модели реагируют не только на семантику запроса, но и на синтаксические маркеры. Если пользователь меняет грамматическое наклонение с повелительного на косвенное, модель может проигнорировать инструкции безопасности и выдать вредоносный контент.
Масштаб уязвимости и методы анализа
Команда провела поведенческую оценку 16 различных моделей, включая архитектуры с количеством параметров до 70 миллиардов. Для выявления корня проблемы была применена каузальная медиация (causal mediation analysis). Анализ показал, что решение об отказе в ответе частично обусловлено синтаксическими признаками на ранних этапах обработки текста, а не только финальным смыслом запроса.
Ключевые выводы исследования:
- Уязвимость универсальна: проблема наблюдается в моделях разных производителей и размеров.
- Причина в данных: «плохая обусловленность» (ill-conditioning) связана с лингвистически смещенными данными для постобучения (SFT/RLHF) в открытых моделях.
- Решение: увеличение синтаксического разнообразия в обучающих наборах данных позволяет смягчить проблему.
Детали эксперимента
Исследователи продемонстрировали, что можно целенаправленно запускать или подавлять отказ, управляя исключительно синтаксическими признаками, не меняя сути запроса. Это создает риск создания сложных джейлбрейков, которые маскируются под нейтральные или исторические описания действий.
| Параметр | Значение / Описание |
|---|---|
| Количество протестированных моделей | 16 |
| Максимальный размер модели | 70B параметров |
| Метод анализа причинности | Causal Mediation Analysis |
| Основной триггер уязвимости | Изменение грамматического наклонения (mood) |
| Предложенное решение | Диверсификация синтаксиса в данных постобучения |
Почему это важно
Результаты работы ставят под сомнение эффективность текущих подходов к выравниванию (alignment), так как они вводят конфаундеры, мешающие чистой семантической привязке решений об отказе. Для разработчиков ИИ это означает необходимость пересмотра стратегий генерации данных для SFT, чтобы модели учились отказывать на основе смысла, а не формы предложения.
Источник: arXiv cs.CL ↗