Проблема старых метрик
Современные ИИ-агенты принципиально отличаются от предыдущих поколений ИИ тем, что они способны обучаться на естественном языке в контексте. Это позволяет им итеративно уточнять ответы на основе обратной связи, что является стандартом в современных рабочих процессах. Однако сообщество до сих пор ранжирует модели по таким метрикам, как Pass@1 или Pass@K. Эти показатели фиксируют результат «здесь и сейчас» и не способны отразить, как модель использует обратную связь от предыдущих попыток.
Что такое Seq@K
Авторы статьи (arXiv:2610.37859) предлагают новый протокол оценки — Seq@K. Эта метрика измеряет способность модели решить задачу в течение K последовательных шагов, где каждый следующий шаг может учитывать исправления или подсказки, полученные от пользователя или системы. Это ближе к реальной эксплуатации агентов, где диалог — это процесс, а не однократный запрос.
Сравнение подходов
Для понимания разницы между традиционными и новыми подходами к оценке производительности ИИ, рассмотрим ключевые отличия:
| Характеристика | Pass@K (Стандарт) | Seq@K (Новый протокол) |
|---|---|---|
| Тип взаимодействия | Однократный запрос (Zero-shot / Few-shot) | Многошаговый диалог с обратной связью |
| Оцениваемый навык | Базовые знания и логика | Способность к обучению в контексте (In-context learning) |
| Реалистичность | Низкая (не отражает работу агентов) | Высокая (имитирует реальные рабочие процессы) |
Почему это важно
Введение Seq@K позволяет разработчикам и исследователям точнее оценивать потенциал моделей в сценариях, где важна не только первоначальная точность, но и гибкость. Если модель может быстро скорректировать свой ответ после указания на ошибку, она становится более полезной в сложных задачах, требующих уточнения требований. Это смещает фокус с «знания фактов» на «умение работать с информацией».
Источник: arXiv cs.AI ↗