Проблема «слепых зон» в долгосрочных взаимодействиях
Традиционные тесты безопасности часто оценивают модели по однократным запросам, игнорируя контекст. Однако современные LLM-агенты работают в многошаговых сценариях с использованием инструментов, где состояние системы меняется динамически. Исследователи из команды Sadia Asif и коллег создали BLINDSPOT — фреймворк, который оценивает безопасность на уровне всей траектории взаимодействия (trajectory-level safety calibration).
Ключевая проблема, которую выявляет BLINDSPOT: модель может корректно отвечать на первые несколько запросов, но со временем, накапливая контекст, начинает выполнять опасные действия или, наоборот, отказывается от полезных задач. Это явление называется refusal calibration failure.
Масштаб и структура бенчмарка
BLINDSPOT — это не статичный набор данных, а живая симуляция. Текущая версия включает:
- 2 500+ длинных траекторий взаимодействия;
- 22 семейства атак и 35 сценариев;
- 7 доменов применения;
- Средняя длина взаимодействия составляет 14.7 шагов (turns).
Каждая траектория классифицируется по одному из пяти исходов:
- Safe Completion (Безопасное завершение);
- Correct Refusal (Правильный отказ);
- Unsafe Completion (Опасное выполнение);
- Over-Refusal (Избыточный отказ);
- Indeterminate (Неопределенный результат).
Результаты тестирования 13 моделей
Авторы протестировали 13 проприетарных и open-weight моделей, используя 8 метрик, охватывающих не только безопасность, но и полезность (benign utility) и устойчивость к повторным запускам. Результаты показали существенные различия в калибровке безопасности. Главная инсайт: сбои безопасности часто возникают только после нескольких изначально безопасных шагов, что делает однократные тесты неэффективными.
Сравнение подходов к оценке
| Характеристика | Традиционные бенчмарки | BLINDSPOT |
|---|---|---|
| Длительность теста | Один запрос (single-turn) | Длинная траектория (avg. 14.7 steps) |
| Оценка результата | Успех/Провал задачи | 5-урневая шкала (вкл. Over-Refusal) |
| Динамика состояния | Игнорируется | Учитывает эволюцию авторизации и контекста |
| Гибкость | Статичный датасет | Расширяемый фреймворк (live-simulation) |
Почему это важно для индустрии
BLINDSPOT демонстрирует, что безопасность LLM-агентов — это не бинарное свойство, а динамический процесс. Для разработчиков автономных систем это означает необходимость внедрения механизмов непрерывного мониторинга «состояния» агента, а не только фильтрации входных промптов. Фреймворк открыт для расширения, позволяя добавлять новые атаки и инструменты без перестройки пайплайна оценки.
Источник: arXiv cs.AI ↗