Парадокс «Conserved Verdicts, Drifting Commitments»
Исследователи Jianghong Zhou, Hao Rong и Chen Lin из arXiv (ноябрь 2026) выявили критический недостаток современных reasoning-моделей: модель может прийти к правильному ответу, но «перемудрить», продолжая рассуждать. Авторы вводят два ключевых понятия:
- Commitment (Обязательство): вероятность того, что текущий ответ верен, если остановить модель прямо сейчас.
- Verdict (Приговор): вероятность того, что финальный ответ будет верным.
Главный вывод: метрика Verdict (которую используют многие пробы на финальную корректность) не способна предсказать, стоит ли остановиться. Она не имеет предсказуемого дрейфа, так как фиксирует исход. Разница между Commitment и Verdict показывает ожидаемое изменение качества ответа.
Эмпирические данные: DeepSeek-R1-Distill-Qwen-1.5B
Авторы протестировали гипотезу на наборе данных MATH-500. Они проанализировали 379 случаев, когда модель DeepSeek-R1-Distill-Qwen-1.5B уже сформировала правильный ответ, но продолжила генерацию. Результат оказался однозначным: продолжение мышления в среднем снижает точность на 3.6 балла (95% доверительный интервал [2.2, 5.2]).
Потери не распределены равномерно, а концентрируются на отдельных сложных задачах, где модель начинает сомневаться в себе или вносить логические ошибки в уже верные цепочки рассуждений.
Механика падения точности
Исследование охватило шесть reasoning-моделей из трех семейств на наборах MATH-500 и OlympiadBench с бюджетом до 16 384 токенов. Установлено, что снижение точности (declining accuracy curves) вызвано не ухудшением качества самих цепочек рассуждений (chains still reasoning сохраняют или улучшают ответы), а отсеиванием успешных цепочек (which chains remain). То есть модель «убивает» работающие пути рассуждения, пытаясь найти более глубокие, но не находя их.
| Метрика / Параметр | Значение / Наблюдение |
|---|---|
| Потеря точности (DeepSeek 1.5B) | -3.6 балла (в среднем) |
| Доверительный интервал (95%) | [2.2, 5.2] |
| Количество проанализированных точек | 379 (где ответ уже верен) |
| Прирост от «оракульного» правила остановки | +1.8 (1.5B) / +2.5 (7B) балла |
| Основная причина падения точности | Отсев успешных цепочек, а не деградация текущих |
Практическая значимость
Исследование предлагает новый фреймворк для разработки правил остановки (stopping rules). Вместо того чтобы полагаться на финальную корректность, разработчикам необходимо измерять разрыв между Commitment и Verdict до построения механизмов ранней остановки. Это позволит сохранить до +2.5 балла точности на моделях среднего размера, предотвращая вредное «overthinking».
Источник: arXiv cs.AI ↗
