Проблема «молчаливых» сбоев
В отличие от явных таймаутов, когда агент видит ошибку, существуют так называемые silent tool failures (тихие сбои). В таких случаях инструмент возвращает данные в ожидаемом формате, но с некорректным содержанием: например, кэшированная страница ошибки или отрицательная цена товара. AI-агент воспринимает эти данные как истину, что приводит к катастрофическим ошибкам в цепочке принятия решений.
Решение: Outcome Monitors
Авторы предлагают внедрить Outcome Monitors — модули, которые проверяют результаты вызовов инструментов на соответствие контрактам. Эти контракты извлекаются из независимых трасс выполнения задач или выводятся из публичных схем данных. При обнаружении нарушения монитор не отбрасывает результат, а сохраняет его и выдает nonbinding receipt (необязательную квитанцию), указывающую на нарушенное свойство и предлагающую публичные инструменты восстановления.
Ключевые метрики эффективности
Эксперименты проводились на наборах данных ToolMaze и tau-bench retail с искусственно внедренными сбоями. Внедрение Outcome Monitors показало значительный рост успешности завершения задач (completion rate) across four models in two provider families:
| Набор данных / Тест | Базовый показатель | С Outcome Monitors | Прирост |
|---|---|---|---|
| ToolMaze (4 модели, 2 семейства) | 10.9% | 28.1% | +17.2 п.п. |
| tau-bench retail (Tier 1) | — | — | +14.0 п.п. |
| tau-bench retail (Tier 2) | — | — | +12.0 п.п. |
Важность инструментов восстановления
Контрольные эксперименты в ToolMaze показали, что сам по себе факт уведомления недостаточен. Удаление списка инструментов восстановления полностью нивелировало эффект, а его восстановление вернуло прирост. Это доказывает, что ключевым элементом является не диагностика, а предоставление агенту конкретных действий для исправления ситуации.
Ограничения и перспективы
Система демонстрирует высокую точность в рамках выявленных контрактов, но при тестировании на наборе данных, транскрибированном из опубликованной таксономии инцидентов, обнаружение ошибок вне заученного словаря упало до 46%. Тем не менее, доставка результатов оставалась стабильной. Авторы отмечают, что расширение возможностей обнаружения за пределы заранее заданного словаря контрактов остается открытой задачей.
Источник: arXiv cs.AI ↗