Проблема уверенной галлюцинации
Когда языковая модель оценивает код другой модели, она редко признает отсутствие доказательств. Вместо этого она генерирует уверенный вердикт с обоснованием, которое неотличимо от обоснованного вывода. Многоагентная верификация, разбивающая суждение на проверяемые утверждения, работает хорошо только при наличии независимых документов. Однако в контексте кода это условие нарушается: доказательства часто зависят от самого ответа или не различают сравниваемые кандидаты.
Эксперимент с MARCH: провал базовой точности
Авторы протестировали фреймворк MARCH (без изменений) на двух бенчмарках, проведя более 80 измерений. Результаты оказались катастрофическими для индустрии, полагающейся на автоматическую оценку:
| Метрика | Значение | Комментарий |
|---|---|---|
| Доля равных оценок | 78–95% | Система признавала оба решения одинаково хорошими в большинстве случаев |
| Точность (Accuracy) | 4.4% | Крайне низкий показатель корректности вердиктов |
| Точность прямого запроса | 43.7% | Сравнение: та же модель, спрашиваемая напрямую, работает в 10 раз лучше |
Упрощение задач или использование более крупной модели-судьи не улучшило ситуацию. Проблема оказалась фундаментальной для архитектуры, а не параметрической.
Две безлейбловые метрики
Ключевой вклад исследования — не создание нового судьи, а метод определения момента, когда судья «не имеет оснований» для ответа. Авторы извлекли две метрики из логов пайплайна, не требующие человеческих лейблов (ground truth). Эти метрики позволяют системе понять, что она не может сделать осмысленное сравнение.
Решение: право на отказ
Внедрение механизма «gate» (фильтра), основанного на одной из метрик, позволило системе отказываться от ответов в сомнительных случаях. Это привело к значимому росту качества:
- Точность выросла с 20.7% до 36.9% (почти двукратное улучшение).
- Система продолжает отвечать на 50% всех запросов, отсеивая наиболее проблемные случаи.
Исследование, принятое к публикации на Workshop WiML при NeurIPS 2026, доказывает, что в автоматизированной оценке кода важнее не всегда быть уверенным, а уметь распознать момент, когда уверенность необоснованна.
Источник: arXiv cs.AI ↗