Проблема скрытой дисперсии
Авторы исследования Dipto Sumit, Sakib Ul Haque и Farig Sadeque проанализировали задачу маршрутизации API (function routing) на медицинском датасете из 740 примеров. В качестве учителя использовалась модель Qwen 20B, а студентом — Qwen 1.5B. Ключевой вывод: заявленные приросты точности от методов Knowledge Distillation (KD) часто оказываются статистическим шумом. Стандартное отклонение результатов между разными случайными семенами (seeds) варьировалось от 2.8 до 48.7 процентных пунктов, полностью «поглощая» любые улучшения менее 5%.
Бимодальный коллапс и триггеры
Самая опасная находка — наличие «бимодального коллапса» (bimodal seed collapse). У трех из семи протестированных вариантов KD наблюдался сценарий, где от одной трети до половины запусков (seeds) давали точность ниже 55%, в то время как остальные работали нормально. Это означает, что при деплое можно случайно выбрать «плохое» семя и получить неработающую модель, не заметив этого на валидации.
Типы сбоев: от выбора функции до усечения
Исследование выделило два различных режима отказа, характерных для разных методов дистилляции:
- ce_kd и ce_paraphrase: модель выбирает неверную функцию API.
- reasoning_kd: ранее не документированный режим усечения вывода. Модель начинает генерировать рассуждения, но обрывает текст до того, как назовет имя функции. Точность такого режима составила жалкие 0.9%.
Результаты сравнения методов
Только два метода показали стабильность, избегая коллапса при тестировании на 3-6 семенах. Ниже приведена сводка эффективности и стабильности протестированных подходов:
| Метод KD | Стабильность (σ) | Результат коллапса | Примечание |
|---|---|---|---|
| progressive_kd | ≤ 3.9 pp | Нет коллапса | Единственный стабильный метод |
| rank_kd | ≤ 3.9 pp | Нет коллапса | Единственный стабильный метод |
| ce_kd | Высокая | Выбор неверной функции | Бимодальный сбой |
| ce_paraphrase | Высокая | Выбор неверной функции | Бимодальный сбой |
| reasoning_kd | Высокая | Усечение вывода (0.9% acc) | Новый тип сбоя |
Иллюзия улучшения данных
Авторы также опровергли популярный прием обогащения входных данных (input enrichment). Наивное разделение данных показало прирост +3.78 pp, однако при контролируемом тестировании с несколькими семенами внутри одного сплита этот эффект инвертировался в -2.70 pp. Это доказывает, что однократная оценка (single-seed evaluation) не способна выявить центральные режимы отказа в малых моделях.
Источник: arXiv cs.CL ↗