Проблема «визуального обмана» в AI-агентах
С развитием компьютерных агентов (computer-use agents), способных самостоятельно работать с интерфейсами, возникла проблема: как объективно оценить их успех без участия человека? Традиционные метрики часто обманчивы. Траектория действий может выглядеть завершенной, но при этом нарушать скрытые условия инструкции или вызывать нежелательные побочные эффекты. Для решения этой проблемы команда исследователей во главе с Xing Han Lù представила AgentHorizon — специализированный бенчмарк для оценки так называемых «агентских судей» (agentic judges).
Масштаб и структура данных
AgentHorizon базируется на 166 часах человеческих записей, охватывающих три операционные системы. Датасет включает 1 373 пары «инструкция-траектория». Уникальность подхода заключается в «парной» конструкции: для каждого успешного сценария создается негативный пример путем замены инструкции на схожую, но несовместимую. Это позволяет тестировать способность судьи не просто констатировать факт завершения, а выявлять тонкие различия в выполнении требований.
Результаты тестирования: GPT-5.5 и открытые модели
Авторы протестировали 11 различных AI-судей, передавая им полные траектории (до 300 скриншотов и действий) и используя их как код-агентов в пяти различных средах. Результаты выявили существенный разрыв между проприетарными и открытыми моделями, а также влияние использования инструментов (tool-use).
| Модель / Категория | Результат (Balanced Accuracy) | Примечание |
|---|---|---|
| GPT-5.5 (Лучший результат) | 80.9% | Показал наибольшую надежность на подмножестве AgentHorizon (AH) |
| Проприетарные модели (в среднем) | Выше 70% | Tool-use улучшил результаты для некоторых моделей |
| Open-weight модели | Ниже среднего | Использование инструментов ухудшило их производительность |
Почему это важно для индустрии
Ключевой вывод исследования заключается в том, что текущие AI-судьи часто не способныlocate (найти) и verify (подтвердить) скрытые доказательства правильного выполнения задачи внутри длинных историй взаимодействий. Разница в способности «принимать» валидные траектории и «отклонять» провальные у разных моделей колоссальна. Для создания надежных автономных систем, работающих в сложных многошаговых сценариях, необходимы судьи, способные анализировать контекст глубже, чем просто сопоставление конечного состояния с инструкцией.
Источник: arXiv cs.AI ↗