Проблема оценки полноты (Recall)
В индустрии AI-агентов существует серьезная проблема: как измерить, сколько релевантной информации агент упустил? Традиционно для этого требуется ручная проверка 100% ответов, что экономически нецелесообразно. Авторы исследования предлагают использовать статистический метод Capture-Recapture (метод маркировки и повторного отлова), который исторически использовался для оценки численности диких животных.
Суть метода
Метод работает по следующему принципу: система генерирует несколько «снимков» или версий ответов на один и тот же запрос от разных моделей или с разными параметрами. Пересечение этих ответов позволяет статистически оценить общее количество найденных и, что важнее, пропущенных элементов информации. Это позволяет оценить Recall (полноту) без необходимости знать истинный полный ответ заранее.
Результаты тестирования на CUAD
Исследование было проведено на наборе данных CUDA (Contracts in Understanding and Aspects of Dispute), содержащем 294 юридических контракта. Метод показал высокую точность при сравнении с эталонными данными. Ключевым показателем стала эффективность: для получения оценки, близкой к истинному Recall, потребовалась ручная проверка лишь 10% выборки.
| Метрика | Значение / Описание |
|---|---|
| Набор данных | 294 контракта (CUAD) |
| Точность оценки Recall | В пределах 2 пунктов от истинного значения |
| Объем ручной проверки | 10% от общего объема данных |
| Исторический аналог | Метод оценки популяции рыб (1890-е гг.) |
Почему это важно
Для разработчиков AI-агентов это означает возможность внедрения надежных метрик качества без колоссальных затрат на аннотацию данных. Метод позволяет быстро итеративно улучшать модели, опираясь на статистически обоснованные оценки полноты, а не на субъективные или выборочные проверки.
Источник: Towards Data Science ↗