Проблема усреднения: когда «хороший» агент ломается
Традиционные бенчмарки для AI-агентов часто сводят сложное поведение к одной цифре — среднему проценту успешных прохождений (mean pass rate). Исследование, представленное на NeurIPS 2026 EvoRobust Workshop, доказывает, что такой подход опасен: он маскирует регрессии. Автор Pulkit Yadav демонстрирует, что генерация тестовых наборов как «поиск, управляемый разнообразием», позволяет выявить дефекты, которые полностью теряются при усреднении.
Эксперимент: 7 дефектов в агенте τ²-bench
Для проверки гипотезы исследователь внедрил 7 контролируемых дефектов в агента τ²-bench в двух различных доменах. Ключевой вывод заключается в том, что некоторые дефекты имеют «след» (footprint), который не позволяет им снизить общий балл бенчмарка, если только они не уничтожают все сценарии в своей категории.
Особое внимание уделено дефекту «удаление инструментов» (tool-removal). Этот сбой полностью разрушает покрытые сценарии, достигая математического потолка провала. Однако, если смотреть только на общий процент успеха, агент может выглядеть стабильным, пока не будет проанализировано покрытие конкретных сценариев.
Два режима сбоев: Trace-aligned vs Trace-orthogonal
Авторы разделили дефекты на два режима, что критически важно для понимания метрик оценки:
| Тип дефекта | Характеристика | Результат обнаружения |
|---|---|---|
| Trace-aligned | Сбой влияет на конкретные пути выполнения (traces) | Обнаруживается при по-ячеечной оценке (per-cell scoring). Выявил второй дефект как значимое улучшение. |
| Trace-orthogonal | Поведенческий сбой, не связанный с конкретным путем | Обнаружен в ритейле при покрытии ровно 0 (forced escalation). Обычный бенчмарк его бы пропустил. |
Разнообразие против «счастливого пути»
Исследование подтверждает, что разнообразие в генераторе тестов необходимо, но только если оно выровнено с архитектурой агента. Набор тестов, состоящий только из «счастливых путей» (happy-path-only), не обнаружил ни одного дефекта. В то же время набор с разнообразием по типам сценариев (kind-diverse) смог выявить дефект оркестрации в 5 из 20 запусков.
Рекомендации для индустрии
Авторы призывают отказаться от простого усреднения. Архивы оценок должны оцениваться по ячейкам (per cell), а покрытие (coverage) должно публиковаться как первоклассное свойство метрик. Это позволяет увидеть, какие именно сценарии провалились, а не просто констатировать факт падения общего балла.
Источник: arXiv cs.AI ↗
