Суть метода: Certify-or-Decline
Авторы (Gupta, Slivinski, Patodia, Saldivar) оценили пайплайн Proof-Step Verification на открытых моделях. Система переписывает ответ решателя в типизированные шаги и использует LLM-судей для выдачи вердикта: сертифицировать или отклонить. Цель — отфильтровать ошибки, но цена такого отбора высока.
Ключевые метрики на сложных датасетах
На задачах GPQA и AIME-2025 метод демонстрирует прорыв в точности, но ценой радикального сокращения количества решенных задач. На более простом наборе MATH-500 (где модели уже близки к потолку) прирост точности не оправдывает потерю покрытия.
| Датасет | Рост точности (п.п.) | Покрытие (доля принятых ответов) | Примечание |
|---|---|---|---|
| GPQA (strong) | +31 | 35% | Высокая цена фильтрации |
| AIME-2025 | +46 | 21% | Самый строгий отбор |
| MATH-500 | ≤ +5 | -13...-27 п.п. | Минимальная польза при потере охвата |
Сравнение с Self-Consistency
Альтернативный метод — output-token-matched self-consistency selector — показал результаты, сопоставимые с верификатором, но с лучшей стабильностью. Он достиг точности 82.9% при покрытии 35%, тогда как верификатор показал 87.6% (парная разница +4.8 п.п., 95% доверительный интервал [-8.2, 18.5]). Разница статистически не всегда значима, что ставит под вопрос сложность внедрения верификатора.
Скрытые сбои и проблема «слепых зон»
Диагностический анализ выявил критический недостаток: 52 из 88 завершенных проблем завершаются невалидной конструкцией доказательства, так и не дойдя до стадии проверки судьей. Это означает, что верификатор не видит значительную часть ошибок на этапе генерации.
Проблема валидации самих верификаторов
Внешние LLM принимают сертифицированные цепочки только в 61.0–67.6% случаев, что резко контрастирует с заявленной точностью 87.6% по ключу ответов. Авторы отмечают, что открытые аудиторские пары показывают согласие, близкое к случайному (chance-corrected agreement ≈ 0). Без человеческого или формального ядра (formal kernel) мы измеряем не истинность, а лишь консистентность мнений моделей.
Результаты опубликованы в 6th Workshop on Mathematical Reasoning and AI (MATH-AI) at NeurIPS 2026.
Источник: arXiv cs.AI ↗
