Проблема: агенты не умеют «тормозить»
Современные LLM-агенты часто действуют по принципу «стреляй, потом разберемся». Если появляются новые доказательства, отменяется разрешение или поступает команда стоп, агент должен не просто остановиться, а селективно: приостановить только затронутые действия, сохранить прогресс в других задачах и возобновить работу только после исправления ошибки. На практике же модели либо продолжают действовать, либо отменяют всё подряд, теряя полезный контекст.
Что такое NAQD Env?
Авторы представили синтетическую среду NAQD Env, которая оценивает эти решения против детерминированной эталонной политики. Бенчмарк использует 11 семейств зависимостей для проверки на обучающих структурах, а также на новых (held-out) семействах и их комбинациях. Ключевые метрики:
- Withdrawal Recall: способность правильно идентифицировать необходимость отмены.
- Policy Agreement: соответствие эталонному поведению.
- Task Value: сохранение полезной работы.
- Event Reporting: корректность отчетности о событиях.
Результаты: катастрофическая надежность
Были протестированы три открытые модели (Qwen2.5-3B, Qwen2.5-7B, Llama-3.1-8B) на 350 замороженных сценариях, что дало 3 150 эпизодов. Результаты оказались пугающими:
| Метрика | Результат | Значение |
|---|---|---|
| Withdrawal Recall | ≤ 0.06 | Агенты почти не умеют вовремя отменять действия |
| Valid Resumption | 0 | Ни одного случая корректного возобновления работы |
| Complete Policy Match | 1 episode | Из тысяч попыток только один раз агент действовал идеально |
Модель Qwen2.5-7B показала меньше попыток небезопасных действий по сравнению с Qwen2.5-3B и Llama-3.1-8B, но при этом выполнила меньше полезной работы и хуже сохранила независимые действия.
Эксперимент с SFT: можно ли научить?
Авторы провели разведочное контролируемое дообучение (SFT) для Qwen2.5-3B. Точность принятия решений выросла с 0.45–0.54 до 0.83–0.92. Однако диагностика выявила новые проблемы: агенты начали неоправданно отменять действия после пропусков в обучении и полностью потеряли способность корректно отчитываться о событиях.
Почему это важно?
Результаты доказывают, что «селективный отказ» — это не побочный эффект, а отдельный компонент надежности агентов. Текущие модели не способны безопасно интегрироваться в критические системы, где важно не просто выполнить задачу, но и корректно реагировать на изменения условий в реальном времени. NAQD Env позволяет измерять этот навык изолированно, без шума от проблем верификации источников.
Источник: arXiv cs.AI ↗