MLR: Двухуровневое мышление для LLM с Step-DPO

Проблема длинных цепочек рассуждений

Традиционные методы масштабирования во время инференса (inference-time scaling) часто опираются на единую политику, обученную с помощью RL с подкреплением по результату (outcome-reward RL). Это приводит к проблемам при длинных цепочках мыслей (long-horizon plan failures): неявный план «дрейфует» от валидных стратегий, особенно у моделей с ограниченной емкостью. Обратная связь в таких случаях слишком разреженная и запаздывающая.

Архитектура Multi-Level Reasoning (MLR)

Авторы предлагают реформировать генерацию длинного CoT как двухуровневый стохастический процесс:

• Планировщик высокого уровня (High-level planner): Генерирует структурированные дескрипторы шагов, указывающие режим рассуждения и семантическую подцель. Реализован как легковесный модуль LoRA.
• Исполнитель низкого уровня (Low-level executor): Базовая модель, которая производит детальные рассуждения, conditioned на дескрипторы. Формируется чередующийся цикл «план — исполнение».

Обучение через Step-DPO и TSMC

Для решения проблемы распределения кредита (credit assignment) в длинных траекториях (тысячи токенов) авторы вводят iterative Step-DPO. Этот процессный метод предпочтительной оптимизации использует Twisted Sequential Monte Carlo (TSMC) для предоставления масштабируемого пошагового надзора. Это обеспечивает более стабильное обучение и высокую точность.

Результаты и эффективность

Эксперименты на сложных бенчмарках по математике, науке и логике показали, что MLR превосходит методы SFT-дистилляции и RL-базовые подходы. Ключевое преимущество — экономия данных: MLR требует всего 10% SFT и 5% preference data относительно настроек дистилляции DeepSeek-R1.

Работа принята к публикации в ICLR 2026.

Источник: arXiv cs.CL ↗