Проблема: «Слепое копирование» учителя
Стандартный подход к дистилляции знаний — обучение маленькой модели (student) на решениях большой (teacher) — имеет критический недостаток. Студент часто переобучается на распределение вывода учителя и плохо обобщает, когда его собственное поведение во время инференса отклоняется от обучающих данных. Попытки исправить это через включение данных об ошибках не работают, так как корректирующие траектории всё равно отражают паттерны рассуждений учителя, которые студент не может надежно воспроизвести.
Решение: FPRT (Failure Profiling and Reachable Trajectory Selection)
Авторы (Yijun Zhu, Jianxin Wang, Chengchao Shen) предлагают метод, основанный на идее, что эффективные обучающие данные должны определяться тем, на чем студент терпит неудачу, и тем, что он реально способен выучить. Процесс состоит из трех этапов:
- Профилирование ошибок: Студент многократно опрашивается на каждой задаче. Ошибки характеризуются по частоте (error rate) и согласованности (error consistency), что позволяет выявить качественно разные режимы сбоев.
- Генерация кандидатов: Для каждого выявленного режима ошибки используются специфические стратегии промптинга к учителю для генерации корректных решений.
- Выбор достижимой траектории: Из правильных кандидатов выбирается тот, чьи первые шаги рассуждения после точки расхождения наиболее воспроизводимы студентом. Это ключевой момент: первые корректирующие шаги — это основной «бутылочное горлышко», а остальные шаги следуют уже исправленному контексту и усваиваются легче.
Почему это лучше стандартного реранкинга?
Традиционные методы реранкинга оценивают траекторию целиком, что размывает сигнал в критической точке перехода рассуждений. FPRT фокусируется именно на начальных шагах исправления, которые сложнее всего скопировать, но важнее всего для успеха.
Результаты: Новый SOTA
Эксперименты показали, что метод FPRT достигает состояния искусства (SOTA) на пяти бенчмарках для двух различных архитектур студентов. Работа принята в конференцию NeurIPS 2026.
| Аспект | Стандартная дистилляция | Метод FPRT |
|---|---|---|
| Источник данных | Только правильные ответы учителя | Корректирующие траектории, адаптированные под ошибки студента |
| Критерий выбора | Общая оценка траектории (reranking) | Воспроизводимость первых шагов после ошибки |
| Результат | Плохая генерализация при отклонении от данных | SOTA на 5 бенчмарках (NeurIPS 2026) |
Исходный код и обученные веса доступны на GitHub авторов.
Источник: arXiv cs.CL ↗