Проблема существующих метрик
Традиционные подходы к оценке AI-агентов часто полагаются на согласие с аннотациями экспертов или простую проверку правильности ответа. Однако в сложных многошаговых задачах важно не просто угадать ошибку, а каузально устранить её. Исследователи из команды, представившей ReplayRCA, отмечают, что «последний шаг» (last-step shortcut) в существующих бенчмарках не переносится на реальные сценарии живого надзора (live oversight).
Методология: Контрфактуальный реплей
ReplayRCA использует уникальную метрику Causal Repair. Процесс выглядит так:
- Среда (OpsWorld) восстанавливается до состояния перед ошибочным шагом.
- Предложенное диагностом действие заменяет действие агента.
- Агент продолжает выполнение задачи.
Оценка рассчитывается как разница между успешностью исправленного запуска и плацебо-запуска (где оригинальное ошибочное действие повторяется через тот же механизм). Это позволяет изолировать именно вклад исправления, а не просто удачи.
Результаты: Grok 4.7 против флагманов
На наборе из 62 калиброванных системных сбоев лучшие модели показали следующие результаты. Примечательно, что флагманы двух крупнейших вендоров заняли лишь 8-е и 12-е места, уступив Grok 4.7 от xAI.
| Модель | Роль | Результат (Causal Repair) | Примечание |
|---|---|---|---|
| Grok 4.7 | Post-hoc / Live | +51.3 | Лучший результат среди 13 моделей |
| DeepSeek V4.1 Flash | Live Oversight | Топ-2 (стат. значимо) | Малая open-weight модель превзошла гигантов |
| GPT-6.1 Sol | Post-hoc | Топ-1 (в своей категории) | Самая слабая в Live Oversight (-14.5 п.п.) |
| Флагманы топ-2 вендоров | Post-hoc | 8-е и 12-е места | Статистически неотличимы от топ-8 |
Ключевой инсайт: Разрыв между диагностикой и надзором
Самое важное открытие исследования — пост-фактум диагностика является плохим прокси для живого надзора. Модель GPT-6.1 Sol, показавшая отличные результаты в режиме «аутопсии» (когда виден весь провал заранее), стала одной из худших в режиме реального времени, потеряв 14.5 балла на тех же тестах (p = 0.002).
Кроме того, принуждение сильной модели вмешиваться на последнем шаге стоило ей 17.1 балла, что подтверждает: умение находить ошибку задним числом не означает умения действовать эффективно в моменте.
Среда OpsWorld
Тестирование проводилось в детерминированной процедурно генерируемой среде OpsWorld, имитирующей офисные задачи. Среда включает 6 уровней сложности, последний из которых является мультимодальным (распознавание QR-кодов, рукописного текста). Код оценки и среда опубликованы для воспроизводимости результатов.
Источник: arXiv cs.AI ↗