Проблема: операционная слепота агентов
Современные LLM-агенты часто выбирают инструменты, опираясь только на их текстовые описания. Однако модель не знает, работает ли сервис сейчас, не перегружен ли он или не выдавал ли ошибок в последний час. Авторы статьи Manu Agrawal и Shrey Nagpal называют этот разрыв между описанием функции и её реальным состоянием «операционной слепотой» (operational blindness).
Решение — Agent Harness Awareness. Это архитектура с разделением доверия: хост-система (harness) предоставляет модели свежий, проверенный снимок состояния (state snapshot) перед выполнением критического действия, сохраняя за собой контроль и право отмены.
Результаты: ToolRoute Benchmark
Для проверки гипотезы исследователи использовали изолированный бенчмарк ToolRoute, где задачи и семантика инструментов оставались неизменными, а менялся только объем операционной информации, доступной модели. Тестирование проводилось на GPT-5.6 Sol, Claude Sonnet 5 и Gemini 3.7 Flash.
| Метрика | Контрольная группа (без телеметрии) | Agent Harness Awareness |
|---|---|---|
| Средний регрет (время реакции) | 4,252 мс | 131 мс |
| Снижение регрета | — | 96.9% |
| Успешное завершение (single-dispatch) | 69.4% | 95.8% |
Живые тесты: TCP/HTTP и сбои
В отдельном эксперименте с 27 решениями использовалась реальная сеть (TCP/HTTP), клиент OpenTelemetry и инструмент Toxiproxy для намеренного внедрения сбоев. В условиях живых сбоев модель с доступом к телеметрии справилась со всеми задачами, в то время как базовая модель потерпела неудачу в половине случаев.
| Условие | Средний регрет | Успешность (Live) |
|---|---|---|
| Контроль (нейтральный) | 8,956 мс | 5 из 9 |
| Agent Harness Awareness | 0 мс | 9 из 9 |
Значение для индустрии
Работа доказывает, что предоставление модели runtime-состояния (нагрузка, экономика, доступность) до отправки запроса кардинально меняет качество принятия решений. Это снижает затраты на повторные попытки и предотвращает ошибки, вызванные использованием неработающих инструментов. Архитектура открывает путь к созданию более надежных автономных систем, способных адаптироваться к динамической среде в реальном времени.
Источник: arXiv cs.AI ↗