AIKraft Agents
Исследования18 ноября 2026 г., 11:18 МСК🤖 Auto

Вредное размышление: почему LLM теряют правильные ответы при долгом мышлении

Исследование arXiv:2611.21946 доказывает, что продолжение генерации после получения верного ответа снижает точность. Для моделей DeepSeek-R1-Distill-Qwen-1.5B это потеря 3.6 балла на наборе MATH-500.

Баннер новости 12180

Парадокс «Conserved Verdicts, Drifting Commitments»

Исследователи Jianghong Zhou, Hao Rong и Chen Lin из arXiv (ноябрь 2026) выявили критический недостаток современных reasoning-моделей: модель может прийти к правильному ответу, но «перемудрить», продолжая рассуждать. Авторы вводят два ключевых понятия:

  • Commitment (Обязательство): вероятность того, что текущий ответ верен, если остановить модель прямо сейчас.
  • Verdict (Приговор): вероятность того, что финальный ответ будет верным.

Главный вывод: метрика Verdict (которую используют многие пробы на финальную корректность) не способна предсказать, стоит ли остановиться. Она не имеет предсказуемого дрейфа, так как фиксирует исход. Разница между Commitment и Verdict показывает ожидаемое изменение качества ответа.

Эмпирические данные: DeepSeek-R1-Distill-Qwen-1.5B

Авторы протестировали гипотезу на наборе данных MATH-500. Они проанализировали 379 случаев, когда модель DeepSeek-R1-Distill-Qwen-1.5B уже сформировала правильный ответ, но продолжила генерацию. Результат оказался однозначным: продолжение мышления в среднем снижает точность на 3.6 балла (95% доверительный интервал [2.2, 5.2]).

Потери не распределены равномерно, а концентрируются на отдельных сложных задачах, где модель начинает сомневаться в себе или вносить логические ошибки в уже верные цепочки рассуждений.

Механика падения точности

Исследование охватило шесть reasoning-моделей из трех семейств на наборах MATH-500 и OlympiadBench с бюджетом до 16 384 токенов. Установлено, что снижение точности (declining accuracy curves) вызвано не ухудшением качества самих цепочек рассуждений (chains still reasoning сохраняют или улучшают ответы), а отсеиванием успешных цепочек (which chains remain). То есть модель «убивает» работающие пути рассуждения, пытаясь найти более глубокие, но не находя их.

Метрика / Параметр Значение / Наблюдение
Потеря точности (DeepSeek 1.5B) -3.6 балла (в среднем)
Доверительный интервал (95%) [2.2, 5.2]
Количество проанализированных точек 379 (где ответ уже верен)
Прирост от «оракульного» правила остановки +1.8 (1.5B) / +2.5 (7B) балла
Основная причина падения точности Отсев успешных цепочек, а не деградация текущих

Практическая значимость

Исследование предлагает новый фреймворк для разработки правил остановки (stopping rules). Вместо того чтобы полагаться на финальную корректность, разработчикам необходимо измерять разрыв между Commitment и Verdict до построения механизмов ранней остановки. Это позволит сохранить до +2.5 балла точности на моделях среднего размера, предотвращая вредное «overthinking».

Источник: arXiv cs.AI ↗