Проблема традиционной дистилляции
Фронтенерные языковые модели (LLM) демонстрируют выдающиеся результаты в сложных задачах, но их использование сопряжено с высокими затратами на инференс. Традиционные методы дистилляции знаний требуют доступа к весам модели-студента, дополнительных вычислительных ресурсов для обучения и кодируют полученные знания неявно в параметрах. Это создает барьеры для внедрения, особенно когда веса учителя недоступны или обновление весов слишком ресурсоемко.
Суть метода D-Skill
Авторы (Shuo Yuan, Dacheng Li, Joseph E. Gonzalez) предлагают фреймворк D-Skill, который рассматривает учителя как «черный ящик». Вместо обновления весов система анализирует парные запуски (rollouts) учителя и студента, выявляя расхождения и совпадения в поведении. Ключевое отличие — извлечение поведенческого преимущества учителя в виде интерпретируемого навыка на естественном языке.
Процесс полностью офлайн: после сбора траекторий формируется документ с навыком (skill document), который подается студенту во время инференса. Никаких дополнительных взаимодействий с окружением или обновления весов после сбора данных не требуется.
Результаты бенчмарков
Метод протестирован на наборах данных SpreadsheetBench-Verified, ALFWorld и шахматных головоломках. D-Skill демонстрирует эффективность, сопоставимую с многоэпоховым SFT (Supervised Fine-Tuning), но без затрат на обучение.
| Метрика / Параметр | Результат D-Skill | Сравнение / Контекст |
|---|---|---|
| Закрываемый разрыв | 75% – 95% | Разница в производительности между учителем и студентом |
| Стоимость инференса | В 5.7x – 8.3x ниже | По сравнению с использованием модели-учителя |
| Качество vs SFT | Превосходит 1 эпоху SFT | Конкурентоспособен с многоэпоховым SFT |
| Требования к данным | Без лейблов, офлайн | Только парные траектории (rollouts) |
Почему это важно
D-Skill предлагает альтернативу, основанную на интерпретируемости и эффективности. Передача знаний через текстовые инструкции (skills) позволяет легко верифицировать, чему именно научилась модель, и интегрировать эти знания в любые совместимые бэкенды обновления навыков. Это снижает порог входа для использования мощных моделей в ресурсоограниченных средах, сохраняя при этом высокую точность решений.
Источник: arXiv cs.AI ↗