Проблема вычислительной стоимости дистилляции
Традиционная дистилляция языковых моделей с использованием Forward-KL требует вычисления плотных распределений вероятностей (scores) для всего словаря учителя на каждом шаге обучения. Это создает два узких места: огромные затраты на хранение целевых значений учителя и вычислительную нагрузку на этапе обучения. Авторы работы из arXiv (2611.14850) предлагают альтернативный подход: дистилляцию не со всего словаря, а только из его наиболее вероятной части, с последующей перекалибровкой (renormalization) оставшейся массы вероятностей.
Эксперименты на Qwen3 и Nemotron Nano
Основное исследование проведено на паре моделей Qwen3 4B → 1.7B. Авторы также подтвердили эффективность метода на более крупных парах: Qwen3 8B → 4B и Nemotron Nano 12B → 9B. Оценка качества генерации проводилась преимущественно на бенчмарке MMLU-Pro и вторично на GPQA-Diamond.
Ключевой вывод: сокращение «поддержки» учителя (fraction of vocabulary) до 0.01% не приводит к заметной деградации качества на MMLU-Pro по сравнению с дистилляцией от полного словаря, несмотря на рост расхождений с полным распределением учителя.
Специфика семейств моделей
Разные архитектуры по-разному реагируют на сужение выборки. Для Nemotron Nano качество на MMLU-Pro сохраняется на уровне полного словаря уже при поддержке в 0.1%. Однако при использовании еще меньих долей модель перестает корректно генерировать закрывающие теги рассуждений (closing reasoning tags). Это указывает на то, что надежный порог сжатия зависит от конкретной архитектуры модели.
Измеримые приросты производительности
При использовании поддержки в 0.01% достигаются значительные оптимизации ресурсов:
- Время шага обучения (training step time): сокращение на 38% за счет кэширования только сохраненных оценок следующего токена от учителя.
- Пиковая память (peak memory): снижение на 24% благодаря ограничению вычислений студента только этими токенами.
| Параметр | Qwen3 (4B→1.7B, 8B→4B) | Nemotron Nano (12B→9B) |
|---|---|---|
| Оптимальная поддержка (support) | 0.01% (без деградации MMLU-Pro) | 0.1% (сохранение качества, ниже — ошибки тегов) |
| Бенчмарк оценки | MMLU-Pro, GPQA-Diamond | MMLU-Pro |
| Экономия времени обучения | 38% | Информация недостаточна |
| Экономия памяти | 24% | Информация недостаточна |
Почему это важно
Результаты демонстрируют, что для эффективной дистилляции reasoning-моделей не нужно передавать «весь спектр» знаний учителя. Фокусировка на наиболее вероятных токенах позволяет существенно снизить вычислительные барьеры для обучения компактных моделей, делая процесс дистилляции более доступным и быстрым, особенно для семейств моделей, чувствительных к полноте контекста.
Источник: arXiv cs.AI ↗
