Парадокс самообучения: рост метрик и потеря навыков
Методы On-Policy Self-distillation (OPSD) позволяют большим языковым моделям улучшать свои способности, используя саму себя в роли учителя и ученика. Однако новое исследование выявило критический побочный эффект: по мере оптимизации модель начинает ошибаться в задачах, которые решала корректно на ранних этапах обучения. Это явление называется деградацией способностей (capability degradation).
Парадокс заключается в том, что общая производительность модели на бенчмарках продолжает расти, но при этом теряется специфический функционал. Авторы исследования связывают это с ухудшением геометрии скрытых представлений (hidden representations) модели.
Диагностика: что происходит с геометрией данных
Анализ показал, что деградация навыков напрямую коррелирует с изменением структуры векторного пространства модели. В процессе обучения происходит:
- Снижение внутренней компактности (intra-cluster compactness): данные одного класса (например, ответы на вопросы определенной тематики) «размазываются» по пространству.
- Уменьшение разделимости кластеров (inter-cluster separation): границы между разными классами ответов становятся менее четкими, что ведет к галлюцинациям и ошибкам.
Решение: Regularization of Representation Geometry (RGR)
Для решения проблемы предложена методика Representation Geometry Regularization (RGR). Этот подход интегрируется в существующие методы OPSD без изменения их основной процедуры оптимизации. RGR принудительно поддерживает:
- Компактность внутри кластеров (сгруппированные ответы остаются близкими).
- Разделимость между кластерами (разные типы ответов остаются четко отделенными).
Результаты экспериментов
Тестирование RGR проводилось на нескольких методах самообучения и бенчмарках. Результаты подтверждают, что регуляризация эффективно предотвращает потерю ранее приобретенных навыков, сохраняя при этом общий прогресс модели.
| Метрика / Аспект | Без RGR (OPSD) | С RGR (OPSD + RGR) |
|---|---|---|
| Общая производительность | Растет | Растет (сохраняется) |
| Стабильность старых навыков | Деградирует (падение точности) | Стабильна (сохранение точности) |
| Геометрия представлений | Снижение компактности и разделимости | Структура сохраняется |
| Сложность внедрения | — | Прямая интеграция в OPSD |
Значение для индустрии
Работа авторов (Jiaqi Tian, Ting Long) важна для разработчиков, использующих self-improvement парадигмы. Без таких методов, как RGR, попытки «дообучить» модель на собственных генерациях могут привести к непредсказуемой потере базовых компетенций, что критично для коммерческого применения LLM.
Источник: arXiv cs.AI ↗