Проблема статичных бенчмарков
Большинство современных систем оценки AI-агентов (LLM-агентов) носят разовый характер: запуск бенчмарка, анализ логов и получение единого балла. Такой подход не позволяет системе проверять собственные выводы и, что критично, не передает результаты обратно агенту для улучшения. Авторы исследования Ruifeng Ren и Gun Ahn предлагают решение — Closed-Loop Agent Evaluation (замкнутая оценка агентов), которая моделирует процесс оценки как задачу оценки производительности при наличии смещенных оценщиков и цензурированных результатов.
Архитектура из четырех уровней и двух контуров
Методология разделяет анализ на четыре уровня: span (отрезок текста), trace (след выполнения), conversation (диалог) и engagement (взаимодействие). Измерения проводятся по оси Execution, Substance, Trajectory и Results, при этом Conduct выступает как постоянное ограничение. Ключевая инновация — использование двух контуров обратной связи:
- Внутренний контур (Inner Loop): Аудит самих доказательств, правил и метрик.
- Внешний контур (Outer Loop): Использование регрессионных проверок по компонентам для непосредственного улучшения агента.
Результаты на примере SharpInsight
Для демонстрации эффективности методологии исследователи использовали бизнес-аналитического агента SharpInsight и публичные данные диалогов. Сравнение традиционного холистического (целостного) оценивания с предложенным подходом, основанным на доказательствах и правилах, показало значительный рост надежности:
| Метрика | Доказательства и правила (Proposed) | Холистический скоринг (Baseline) |
|---|---|---|
| ICC (Intraclass Correlation Coefficient) | 0.86 | 0.81 |
| Kappa (Cohen's Kappa) | 0.81 | 0.63 |
Высокие значения ICC и Kappa свидетельствуют о том, что оценка, основанная на детальных доказательствах и версионированных правилах, обладает гораздо лучшей согласованностью и надежностью по сравнению с общей оценкой.
Техническая реализация
Оценщики (Evaluator agents) генерируются через Agent Factory и оснащаются пакетом доменных знаний и адаптерным интерфейсом. Каждое заключение уровня должно追溯到 к атомарным данным и вычисляться по версионированным правилам. Это обеспечивает прозрачность: если агент ошибся, система может показать не просто «плохо», а конкретное нарушение правила на конкретном этапе выполнения.
Почему это важно
Переход от разовых тестов к замкнутому циклу оценки позволяет AI-агентам становиться самонастраивающимися системами. Это снижает потребность в ручной проверке логов и ускоряет итерации разработки, так как агент сам получает данные для коррекции своих действий через внешний контур обратной связи.
Источник: arXiv cs.AI ↗