Кризис безопасности: отказ vs помощь
Традиционные системы безопасности больших языковых моделей (LLM) оцениваются по одному параметру: насколько хорошо модель отказывается отвечать на опасные запросы. Однако в ситуациях суицидального риска или самоповреждения (SSH) простой отказ может быть вреден. Пользователю нужна не блокировка, а поддержка. Исследователи Drew Rein, Patrick Oathout и коллеги из DistressBench утверждают, что метрики безопасности должны измерять «доставленную заботу», а не только то, что модель проигнорировала.
Методология: 718 диалогов и 7 измерений
Новый датасет включает 718 англоязычных диалогов, где реплики пользователей написаны клиническими психологами. Диалоги охватывают 23 подкатегории суицидального риска. Каждая реплика модели оценивается по взвешенным критериям в семи измерениях:
- Распознавание кризиса
- Эмпатия и валидация
- Дезэскалация (снижение напряжения)
- Оценка рисков
- Планирование безопасности
- Направление к ресурсам помощи
- Безопасные формулировки
Результаты: разрыв между медианой и лидерами
В исследовании протестированы 25 передовых моделей. Клинические эталоны (ответы реальных врачей) набирают 98.7% баллов. Лучшие коммерческие модели достигают лишь 88.4%, а медианная модель — 71.4%. Самая критичная проблема: в 35.3% случаев, когда модель правильно распознавала кризис, она не направляла пользователя к человеческой помощи.
| Метрика / Модель | Показатель | Комментарий |
|---|---|---|
| Клинические эталоны | 98.7% | Идеальный уровень заботы |
| Лучшая LLM (Top 1) | 88.4% | Максимум среди ИИ |
| Медианная LLM | 71.4% | Средний результат рынка |
| Дезэскалация (лучшая) | 74.6% | Против 46.0% у медианы |
| Безопасные дисклеймеры | 84.6% | Против 8.3% у медианы |
| Многошаговые диалоги | 68.5% | Сложнее, чем одиночные запросы (74.2%) |
Почему это важно
Результаты показывают, что текущие ограничения ИИ — это не только технические баги, но и архитектурные пробелы. Модели умеют «отказываться» (безопасность через молчание), но плохо умеют «действовать» (поддержка через действия). Разрыв между лучшей моделью и медианной в категории дезэскалации (74.6% против 46.0%) указывает на то, что способность успокоить пользователя в критический момент остается нишевой функцией, а не стандартом индустрии. Исследователи публикуют полный датасет и рубрики, призывая разработчиков внедрять маршрутизацию к специалистам как обязательное требование при деплое.
Источник: arXiv cs.CL ↗