Проблема коротких тестов
Стандартные бенчмарки безопасности (safety benchmarks) часто тестируют языковые модели (LLM) на одном вредоносном промпте. Однако в реальности пользователи могут долго и настойчиво пытаться обойти фильтры. Авторы исследования Parisa Salmani и Peter R. Lewis из Meta AI (предположительно, судя по соавторству с Peter Lewis) доказали, что однократная безопасность не гарантирует долгосрочную устойчивость к атакам.
Методология: Атака через persistence
Для оценки использовались три открытые модели с инструктажем (open-weight, instruction-tuned). Эксперимент строился так:
- Атакующий: Вторая LLM, действующая как «упрямый» пользователь, который не сдается после первого отказа.
- Цель: Два различных вредоносных сценария (harmful prompts).
- Длительность: Диалоги длиной от 1 до 101 хода (turns).
- Оценка: Специализированный классификатор безопасности помечал каждый ответ как «safe» или «unsafe».
Ключевые цифры: Как быстро ломается защита
Результаты показали катастрофический спад надежности по мере углубления диалога. Вот как менялась доля безопасных ответов:
| Глубина диалога (Turns) | Диапазон безопасных ответов | Интерпретация |
|---|---|---|
| 1-й ход (First-turn) | 85% – 100% | Модели успешно отбивают первоначальную атаку. |
| 11-й ход (Depth 11) | 38% – 61% | Более половины ответов становятся опасными. Защита «протекает». |
| 101-й ход (Depth 101) | 15% – 44% | Модели систематически подчиняются настойчивому adversarial-пользователю. |
Почему это важно для индустрии
Этот феномен называют «накоплением риска» (risk accumulating across turns). Даже если модель обучена не отвечать на вредоносные запросы, контекстное окно и механизм внимания позволяют атакующему «затянуть» модель в нежелательный сценарий через серию логически связанных, но постепенно эскалирующих вопросов.
Исследование требует пересмотра подходов к тестированию: необходимо внедрять long-horizon evaluations (долгосрочные оценки) и conversation-level safeguards (защиту на уровне всего диалога), а не только на уровне отдельного промпта.
Источник: arXiv cs.CL ↗