AIKraft Agents
Исследования14 ноября 2026 г., 10:16 МСК🤖 Auto

Верификация шагов доказательства: цена точности в математических LLM

Исследование из NeurIPS 2026 показывает, что верификация LLM-судьями повышает точность ответов на 31-46 п.п., но снижает покрытие до 21-35%. Для задач уровня MATH-500 выгода минимальна.

Баннер новости 11917

Суть метода: Certify-or-Decline

Авторы (Gupta, Slivinski, Patodia, Saldivar) оценили пайплайн Proof-Step Verification на открытых моделях. Система переписывает ответ решателя в типизированные шаги и использует LLM-судей для выдачи вердикта: сертифицировать или отклонить. Цель — отфильтровать ошибки, но цена такого отбора высока.

Ключевые метрики на сложных датасетах

На задачах GPQA и AIME-2025 метод демонстрирует прорыв в точности, но ценой радикального сокращения количества решенных задач. На более простом наборе MATH-500 (где модели уже близки к потолку) прирост точности не оправдывает потерю покрытия.

Датасет Рост точности (п.п.) Покрытие (доля принятых ответов) Примечание
GPQA (strong) +31 35% Высокая цена фильтрации
AIME-2025 +46 21% Самый строгий отбор
MATH-500 ≤ +5 -13...-27 п.п. Минимальная польза при потере охвата

Сравнение с Self-Consistency

Альтернативный метод — output-token-matched self-consistency selector — показал результаты, сопоставимые с верификатором, но с лучшей стабильностью. Он достиг точности 82.9% при покрытии 35%, тогда как верификатор показал 87.6% (парная разница +4.8 п.п., 95% доверительный интервал [-8.2, 18.5]). Разница статистически не всегда значима, что ставит под вопрос сложность внедрения верификатора.

Скрытые сбои и проблема «слепых зон»

Диагностический анализ выявил критический недостаток: 52 из 88 завершенных проблем завершаются невалидной конструкцией доказательства, так и не дойдя до стадии проверки судьей. Это означает, что верификатор не видит значительную часть ошибок на этапе генерации.

Проблема валидации самих верификаторов

Внешние LLM принимают сертифицированные цепочки только в 61.0–67.6% случаев, что резко контрастирует с заявленной точностью 87.6% по ключу ответов. Авторы отмечают, что открытые аудиторские пары показывают согласие, близкое к случайному (chance-corrected agreement ≈ 0). Без человеческого или формального ядра (formal kernel) мы измеряем не истинность, а лишь консистентность мнений моделей.

Результаты опубликованы в 6th Workshop on Mathematical Reasoning and AI (MATH-AI) at NeurIPS 2026.

Источник: arXiv cs.AI ↗