Кризис бинарной оценки
В индустрии AI-агентов доминирует бинарная метрика успеха: результат либо полностью корректен, либо провален. Такой подход pass/fail игнорирует нюансы работы сложных систем, где агент может выполнить 90% задачи идеально, но провалиться из-за одной мелкой ошибки. Это создает ложное впечатление о неспособности модели и блокирует возможность обучения на промежуточных результатах.
Архитектура частичной корректности
Предлагается новая парадигма — Partial Correctness. Ее суть в том, чтобы оценивать не только финальный ответ, но и процесс его формирования. Ключевым элементом становится repair loop (цикл исправления): если агент допускает ошибку, система не просто отвергает результат, а анализирует 'почти правильный' шаг и позволяет модели исправить себя, используя частичный кредит за верные действия.
Таксономия 'почти правильных' ошибок
Для внедрения этой системы требуется классификация типов неудач. Авторы выделяют несколько категорий 'near-misses' (почти совпадений), которые позволяют точно определить, где именно произошел сбой:
- Logical drift: Агент верно понял задачу, но допустил ошибку в цепочке рассуждений.
- Context loss: Информация была извлечена, но потеряна при формировании ответа.
- Format mismatch: Содержание верно, но структура не соответствует требованиям API или пользователя.
Практическая польза для разработчиков
Переход к этой модели позволяет:
- Снижать затраты на перегенерацию ответов (так как исправление части ответа дешевле, чем полный рестарт).
- Повышать прозрачность (explainability) работы агентов.
- Создавать более устойчивые системы, которые не 'ломаются' от незначительных отклонений.
Этот подход знаменует сдвиг от простого 'выдавания ответов' к инженерии надежных, самовосстанавливающихся AI-систем.
Источник: Towards AI pub ↗