Проблема: «Слепое» расширение вычислений
Современные методы тестового рассуждения (test-time reasoning) часто тратят ресурсы впустую, продолжая генерировать токены или запускать цепочки мыслей (CoT) даже тогда, когда модель уже уверена в ответе. Авторы работы, принятой на NeurIPS 2026, предлагают решить эту проблему через призму распределения ресурсов при неопределенности. Ключевая идея — превратить процесс инференса в задачу локального контроля, где на каждом шаге система должна выбрать одно из трех действий: вернуть текущий ответ, использовать резервный вариант или потратить дополнительные вычисления на расширение рассуждения.
Методология: Контроллер с тремя действиями
Предложенный подход формулирует выбор как compute-aware three-action controller (контроллер, учитывающий вычислительные затраты). Алгоритм оценивает действия на основе:
- Предсказанной успешности терминальных действий (возврат ответа).
- Суррогатной метрики продолжения (rollout-based continuation-success), которая прогнозирует, приведет ли дальнейшее рассуждение к лучшему результату.
- Явного учета стоимости вычислений (compute cost), что позволяет штрафовать за избыточные затраты.
Критически важным элементом является калибровка уверенности (confidence calibration). Авторы вводят локальные штрафы за неопределенность (uncertainty penalties) для неоднозначных решений, что предотвращает ложноположительные срабатывания при расширении инференса.
Результаты: Экономия до 30% ресурсов
Эксперименты проводились на модели Qwen3-8B с использованием четырех различных сидов (seeds). Метод сравнивался с фиксированными политиками, отобранными по калибровке, и алгоритмом Fitted Q. Результаты демонстрируют значительное улучшение соотношения полезности и затрат:
| Метрика | Сравнение с фиксированными политиками | Сравнение с Fitted Q |
|---|---|---|
| Снижение онлайн-вычислений | ~30% (задача расширения ширины) | Ниже, чем у Fitted Q |
| Снижение онлайн-вычислений | ~16% (задача пересмотра) | Ниже, чем у Fitted Q |
| Полезность (Utility) | Улучшена | Различия малы и неоднозначны |
Почему это важно для индустрии
Работа меняет парадигму восприятия evaluator-guided reasoning: это не просто способ сделать модель «умнее», а инструмент эффективного распределения вычислительных ресурсов. Для разработчиков LLM это означает возможность внедрения более дешевых и быстрых систем рассуждения, которые не жертвуют точностью, но существенно экономят GPU-время. Метод особенно актуален для сценариев с жесткими ограничениями по задержке (latency) и стоимости инференса.
Источник: arXiv cs.AI ↗