Проблема локальных багов в LLM
Большие языковые модели (LLM) часто терпят неудачу на задачах логического вывода, несмотря на наличие необходимых знаний. Авторы статьи из arXiv (2608.05168) утверждают, что причина кроется не в глобальной некомпетентности, а в локализованных ошибках на промежуточных шагах. Эти ошибки можно исправить, внедрив короткий «патч» от слабой модели после префикса рассуждений сильной модели, что перенаправляет траекторию к правильному ответу.
Почему обычное дообучение не работает
Прямое дообучение на исправленных траекториях или патчах от слабых моделей не дает стабильного результата. Полезный сигнал заключается не в самом тексте вмешательства, а в том, как он меняет распределение будущих токенов. Авторы предлагают Woodpecker Distillation — фреймворк обучения от слабого к сильному, который учится на контрастных локальных вмешательствах.
Механика метода
Процесс включает следующие шаги:
- Генерация патчей: Слабая модель (зонд) генерирует исправления для одного и того же префикса рассуждений сильной модели.
- Контрастное обучение: Система сравнивает успешные и неуспешные патчи.
- Дистилляция: Формируется корректирующее распределение учителя на основе предсказаний будущих токенов, которое затем передается сильной модели.
Результаты на математических бенчмарках
Эксперименты показали, что Woodpecker Distillation стабильно улучшает производительность сильных моделей. Метод превосходит базовые подходы прямой имитации (direct imitation baselines), доказывая эффективность использования слабых моделей как диагностического инструмента.
| Аспект | Описание |
|---|---|
| Название метода | Woodpecker Distillation |
| Ключевая идея | Слабые модели диагностируют и исправляют локальные ошибки в рассуждениях сильных LLM |
| Механизм | Контрастная дистилляция на основе локальных вмешательств (патчей) |
| Результат | Превосходство над прямым дообучением на исправленных траекториях |
| Область тестирования | Математическое рассуждение (Mathematical Reasoning) |
Значение для индустрии
Подход меняет парадигму улучшения LLM: вместо того чтобы требовать от слабых моделей генерации сложных решений, они используются для выявления «узких мест» в логике сильных моделей. Это открывает путь к более эффективному и дешевому улучшению качества рассуждений без необходимости переобучения гигантских моделей на огромных датасетах.
Источник: arXiv cs.AI ↗