Проблема неканонических входов
Стандартные тесты безопасности оценивают модели на чистом тексте, но в реальности пользователи активно используют эмодзи, искаженное написание, кодировки и скрытые символы. Авторы представили Adversarial Surface-Form Robustness Dataset (ASRD) — датасет из 2,100 промптов, охватывающих 7 семейств поверхностных форм. Были протестированы 5 открытых моделей, что дало 10,500 ответов для анализа.
Четыре состояния ответа
Для оценки использовалась рубрика Quad-State, классифицирующая ответы на четыре типа: вредное согласие (harmful compliance), безопасный ответ, сбой понимания (comprehension failure) и неопределенность. Это позволило выявить не только прямые утечки, но и косвенные риски, такие как галлюцинации безопасности или языковой дрейф.
Ключевые метрики уязвимости
Результаты показали резкий контраст между типами атак. Модели легко «понимают» эмодзи, но часто сходят с ума от сложных кодировок. Ниже приведена сводка по уровню вредного согласия и сбоев понимания:
| Тип трансформации | Вредное согласие (Harmful Compliance) | Сбой понимания (Comprehension Failure) |
|---|---|---|
| Базовый канонический текст | 22.87% | — |
| Эмодзи (Emoji) | 20.27% | Минимальный |
| Скрытые Unicode-символы | 17.20% | Минимальный |
| Leetspeak (1337) | 2.40% | 36.47% |
| Гибридные трансформации | 2.40% | 34.47% |
| Закодированные обертки | 0.13% | 65.60% |
Почему это важно
Анализ сырых выводов выявил три опасных паттерна поведения: галлюцинированная безопасность (модель уверяет, что ответ безопасен, хотя это не так), структурный коллапс (потеря логики ответа) и языковой дрейф (смена языка или стиля). Особенно уязвима модель Mistral 7B, на которую приходится основная доля вредного согласия в базовом наборе. Для разработчиков это сигнал: защита от простых текстовых атак недостаточна для реального мира.
Источник: arXiv cs.CL ↗