Проблема масштабируемости рассуждений
Обучение больших языковых моделей (LLM) методам сложных рассуждений (reasoning post-training) требует огромных объемов данных, сгенерированных учителями (teacher-generated chain-of-thought). Однако масштабирование таких корпусов приводит к экспоненциальному росту вычислительных затрат при непропорционально малом приросте производительности. Авторы исследования задались вопросом: насколько можно сжать обучающий набор, не жертвуя способностью модели к логическому выводу?
Двухэтапное сжатие через неопределенность
Предложенный метод Uncertainty-Guided Progressive Contraction (UGPC) предлагает два этапа фильтрации данных, основанные на оценке неопределенности:
- Этап 1: Профилирование неопределенности. Вместо использования одной цепочки рассуждений (CoT) от учителя, метод строит деревья рассуждений с использованием Монте-Карло (Monte Carlo) вокруг промежуточных состояний. Это позволяет выявить «узкие места» и процессную неопределенность, отфильтровав менее ценные примеры.
- Этап 2: Онлайн-маршрутизация (Learner-aware contraction). На этапе обучения студента (SFT) происходит динамическая маршрутизация оптимизации. Модель фокусируется на тех примерах, которые наиболее сложны для нее в текущий момент, адаптируясь к своему состоянию обучения.
Ключевые метрики эффективности
Эксперименты показали радикальное снижение бюджета оптимизации. Метод позволяет использовать лишь ничтожную долю данных от полного обучения, сохраняя или улучшая результаты на бенчмарках.
| Метрика | Значение / Описание |
|---|---|
| Доля данных от полного SFT | 0.22% |
| Снижение вычислительной нагрузки | Более чем в 450 раз (450x less training exposure) |
| Качество рассуждений | Сохранено или улучшено относительно полного обучения |
| Обобщаемость | Работает с гетерогенными моделями, black-box учителями и transfer weak-to-strong |
Значение для индустрии
Результаты показывают, что UGPC — это не просто способ ускорить тренировку, но и инструмент повышения качества моделей. Метод демонстрирует высокую устойчивость к разным архитектурам студентов и учителям, что делает его применимым в сценариях, где доступ к исходным данным учителя ограничен или они являются закрытыми коммерческими моделями. Это открывает путь к более демократичному и дешевому обучению мощным моделям рассуждений.
Источник: arXiv cs.AI ↗