Проблема «шумных» примеров в few-shot дистилляции
Обычная дистилляция знаний требует огромных датасетов, что делает её дорогой для генеративных задач. Методы few-shot (с малым числом примеров) экономят ресурсы, но их эффективность критически зависит от выбора обучающих выборок. Авторы исследования выявили, что использование примеров с высокой неопределённостью (близких к границе принятия решений учителем) часто ухудшает результат обучения студента.
Решение: Контрфактическое руководство (COFFEQA)
Предложенный метод COFFEQA (Counterfactual-Guided Few-Shot Distillation) использует контрфактуалы — минимально изменённые контексты, которые заставляют учителя изменить ответ. Это создаёт «геометрическую» связь между фактическим и контрфактическим примерами, помогая студенту точнее выучить границы решений учителя. Для валидации таких пар введён новый метрика Context Following Difficulty (CFD), оценивающая, насколько контекст влияет на смену ответа.
Результаты бенчмарков
Эксперименты проводились на моделях семейств T5 и Qwen2.5 в условиях 32 few-shot пар. COFFEQA стабильно превосходит базовые методы дистилляции, использующие только фактические примеры, как на внутренних (in-domain), так и на внешних (out-of-domain) наборах данных.
| Метрика | Набор данных | Модель | Прирост над базой (Factual-only) |
|---|---|---|---|
| EM (Exact Match) | TriviaQA | T5 | +8.77 |
| F1 | TriviaQA | T5 | +9.98 |
| — | 5 in-domain + 3 out-of-domain QA | T5 & Qwen2.5 | Стабильное превосходство |
Почему это важно
COFFEQA демонстрирует, что качество данных важнее их количества. Использование контрфактических примеров позволяет малым моделям (например, T5-small или Qwen2.5-0.5B) достигать производительности, близкой к большим учителям, при минимальных вычислительных затратах. Это открывает путь к эффективному развертыванию LLM на edge-устройствах и в ресурсоограниченных средах.
Источник: arXiv cs.CL ↗