Парадокс самообучения: богатство ≠ равномерность
Новое исследование, опубликованное в arXiv, вскрывает критический диссонанс в процессах рекурсивного самообучения (self-training) языковых моделей. Авторы демонстрируют, что увеличение разнообразия сгенерированного текста не всегда сопровождается расширением словарного запаса. Напротив, происходит сужение лексики при одновременном улучшении статистических метрик распределения слов.
Эксперимент: 9 поколений GPT-2
Для проверки гипотезы модель GPT-2 подвергалась дообучению на собственном выходе в течение 9 поколений. Ключевым фактором варьирования была температура выборки (sampling temperature). Измерения проводились с использованием фиксированного сэмплера для всех моделей, что позволило изолировать эффект обучения.
Результаты показали, что при повышении температуры энтропия Реньи меняется с потерь на прирост в строгой последовательности: сначала мин-энтропия, затем коллизионная, шенноновская и, наконец, наблюдаемое богатство (richness). Это явление получило название «упорядоченные пересечения Реньи».
Ключевые метрики и цифры
Самый яркий пример разрыва между «качеством» и «разнообразием» зафиксирован при обучении без усечения (untruncated training) при температуре T=1. К 9-му поколению, на выборке в 13 000 слов, модель демонстрирует следующие результаты:
| Метрика | Изменение (Gen 9 vs Gen 0) | Интерпретация |
|---|---|---|
| Количество типов слов (Vocabulary richness) | -24% | Словарь сужается, слова повторяются чаще |
| Коллизионная энтропия (Collision Entropy) | +0.91 бит | Распределение вероятностей становится более равномерным |
| Доминация частых слов | Снижение | Функциональные слова теряют абсолютное превосходство |
Почему это важно для индустрии
Традиционно считается, что «модельный коллапс» (model collapse) — это процесс деградации качества данных при их генерации ИИ. Однако данное исследование показывает, что процесс может быть более сложным. Улучшение логарифмической вероятности (likelihood) и рост энтропии могут происходить параллельно с потерей лексического разнообразия.
Авторы подчеркивают, что ни один единственный показатель энтропии не является надежным индикатором ухудшения качества модели (likelihood). Это означает, что стандартные метрики могут вводить в заблуждение при оценке стабильности самообучающихся систем.
Рекомендации
Исследование подтверждает устойчивость эффекта в 12 из 13 различных измерений и при использовании разных представлений текста. Авторы рекомендуют пересмотреть подходы к валидации LLM: необходимо сообщать полные профили энтропии при заданных бюджетах вычислений и обязательно использовать независимые меры качества, а не полагаться только на энтропийные метрики.
Источник: arXiv cs.CL ↗