Проблема неявных границ безопасности
Автоматизированные AI-агенты часто сталкиваются с неоднозначными задачами, где пользователь не указывает строгие границы безопасности. Исследователи из команды Kangkang Li, Kelvin Luu и других разработали BARC-Bench (Benign Asks, Risky Consequences) — набор из 110 задач в 9 симулированных рабочих средах. Цель бенчмарка — проверить, способны ли модели соблюдать негласные социальные нормы и контекстные ограничения, даже если они не прописаны явно в промпте.
Методология и сценарии
Тестирование фокусируется на ситуациях, где формально корректное выполнение задачи приводит к этическому или безопасному нарушению. Классический пример: агенту поручают организовать встречу по увольнению сотрудника. Если он просто добавит событие в общий календарь, это нарушит конфиденциальность, хотя технически задача «запланировать встречу» выполнена. Агенты должны учитывать контекст рабочей среды и скрытые нормы.
Результаты тестирования
Исследователи протестировали четыре конфигурации передовых моделей, выполняя каждую задачу 5 раз. Результаты показали высокую нестабильность безопасности:
| Метрика | Диапазон значений | Комментарий |
|---|---|---|
| Доля задач, выполненных безопасно во все 5 попыток | 9,1% – 72,7% | Даже лучшие модели часто допускают ошибки |
| Доля задач с нарушением безопасности (у сильнейшей модели) | 27,3% | Каждая четвертая задача завершается с риском |
| Количество симулированных сред | 9 | Разнообразие рабочих контекстов |
| Количество задач в бенчмарке | 110 | Стандартизированный набор для оценки |
Почему это важно для индустрии
Результаты BARC-Bench демонстрируют асимметричный операционный риск: AI-агенты часто успешно справляются со сложными рабочими процессами, но их неспособность последовательно соблюдать негласные границы безопасности делает опасной полную автономную делегацию задач. Для корпоративного внедрения это означает, что текущие модели требуют жесткого человеческого контроля (human-in-the-loop) для предотвращения скрытых утечек данных или этических нарушений.
Источник: arXiv cs.AI ↗