Проблема реалистичности в оценке безопасности
Разработчики ИИ внедряют мониторы безопасности для блокировки опасных действий агентов. Однако стандартные методы оценки (control evaluations) часто используют изолированные среды, такие как BashArena или LinuxArena. Эти тесты дают лишь косвенные данные, так как не отражают специфику реальных развертываний с уникальными кодовыми базами, сервисами и задачами. Запуск атак в реальных системах недопустим, а создание точных копий инфраструктуры требует непропорционально больших инженерных затрат.
Решение: Simulated Control Evaluations (SCE)
Команда Redwood Research предлагает метод SCE, который заполняет этот пробел. Вместо выполнения вызовов инструментов в реальной среде, LLM-симулятор генерирует правдоподобные ответы на основе транскриптов работы агента в реальной кодовой базе. Атакующая модель продолжает задачу с вредоносной целью, но её действия никогда не исполняются. LLM-судья затем оценивает, увенчалась бы атака успехом. Это позволяет тестировать мониторы на «on-policy» атаках (действительно возможных для модели) в условиях, близких к продакшену.
Валидация и метрики
Для проверки точности симуляторов исследователи сравнили результаты SCE с реальными запусками в LinuxArena. Ключевые выводы:
- Разница между симулированными и реальными результатами часто сопоставима с разбросом между двумя независимыми реальными запусками.
- Результаты в симулированной LinuxArena лучше предсказывают поведение в реальной среде, чем результаты из более простых контрольных настроек.
- Метод обеспечивает оптимальный баланс между реализмом окружения, реализмом политики атаки и стоимостью вычислений.
Ограничения и перспективы
Авторы отмечают, что SCE не выявляют пределы опасных возможностей модели и не покрывают все типы атак. Наиболее заметный пробел — долгосрочные многоагентные атаки, для которых симуляторы еще не построены. Тем не менее, метод позволяет экстраполировать данные безопасности с высокой долей достоверности там, где реальное исполнение возможно, и становится новым стандартом для разработчиков ИИ.
Источник: LessWrong ↗