Проблема «офлайн-данных» при экстремальном сжатии
Квантование с обучением (QAT) традиционно помогает восстановить точность моделей при сжатии ниже 4 бит. Однако существующие методы оптимизируются на фиксированных ответах учителя или заранее сгенерированных данных. Это создает критический разрыв: развернутая квантованная модель генерирует префиксы (начало ответа) самостоятельно, попадая в состояния, которых не было в обучающей выборке. Ошибки квантования в этих «новых» состояниях приводят к деградации качества.
Решение: On-Policy Distillation (OPD)
Авторы предлагают OnlineQAT — двухэтапный фреймворк. Сначала модель проходит блочное QAT для получения базовой инициализации. Затем запускается процесс дистилляции на основе ответов самого студента (student-generated responses). На каждом посещенном префиксе замороженный учитель полного точности (full-precision) подает сигнал обратного KL-расхождения (reverse-KL). Это заставляет квантованную модель адаптироваться к своим собственным, возможно «шумным», состояниям генерации.
Результаты на Qwen3-1.7B
Метод демонстрирует лучшие результаты среди сравнимых подходов, особенно в диапазоне 3 бит. Ниже приведена таблица сравнения метрик (средний балл) с методом ReasoningQAT:
| Метод | W3A16 (3 бита веса) | W2A16 (2 бита веса) | Прирост над ReasoningQAT |
|---|---|---|---|
| OnlineQAT (предлагаемый) | 57.28 | 32.52 | +2.90 / +0.44 |
| ReasoningQAT (базовый) | 54.38 | 32.08 | — |
Результаты показывают, что обучение на состояниях, посещенных самим студентом, дает более полезный сигнал восстановления, чем использование фиксированных завершений, особенно при квантовании до трех бит.
Значение для индустрии
Работа Wenjun Wang и соавторов (подана 7 октября 2026 года) открывает путь к размещению сложных LLM на устройствах с жесткими ограничениями по памяти и вычислительной мощности. Снижение разрядности до 2 бит при сохранении функциональности критически важно для edge-устройств, где каждый мегабайт памяти на счету.
Источник: arXiv cs.CL ↗