Проблема существующих методов
Спекулятивное декодирование (speculative decoding) позволяет ускорить инференс больших языковых моделей (LLM), используя маленькую модель-черновик (draft model) для генерации нескольких токенов за один проход. Однако стандартные механизмы кодирования признаков (feature encoding) от целевой модели (target model) имеют три критических недостатка:
- Потеря информации (Lossy): Проекция признаков разрушает пространство целевой модели из-за эффекта «смешивания остатков» (residual mixing).
- Отсутствие памяти (Memory-less): Модель не запоминает ранее отклоненные предложения, что снижает эффективность повторных попыток.
- Равномерная выборка слоев: Использование признаков из всех слоев целевой модели равномерно игнорирует важность скрытых состояний в ключевых слоях.
Решение: DNeo и MoFA
Авторы (Jameson Sandler, Shane Bergsma и др.) предлагают архитектуру DNeo, основанную на новом механизме Mixture-of-Features Attention (MoFA). Ключевые инновации включают:
- MoFA: Легковесный механизм кодирования признаков, который интегрирует «рабочую память» для учета ранее отклоненных предложений.
- Rejection Memory: Запись истории отклоненных токенов для улучшения качества черновика.
- 2-tap causal convolutions: Улучшение контекстного понимания последовательности.
- Prefix-only cross-attention: Оптимизация взаимодействия между черновиком и целевой моделью.
- Non-uniform target layer selection: Выбор признаков не из всех слоев, а из наиболее информативных.
Результаты и сравнение
DNeo достигает нового уровня производительности (SOTA) для высокоскоростного инференса LLM. Главное преимущество — ускорение генерации без увеличения вычислительных затрат или ухудшения качества текста.
| Метрика | DFlash-2 (SOTA до DNeo) | DNeo (Новый метод) |
|---|---|---|
| Скорость генерации | Базовая | +30% (1.3x ускорение) |
| Качество генерации | Высокое | Без изменений (сохранено) |
| Вычислительный footprint | Стандартный | Без изменений |
| Механизм кодирования | Стандартный (с потерями) | MoFA + Rejection Memory |
Почему это важно
Ускорение инференса на 30% при сохранении качества — это значительный прорыв для коммерческого развертывания LLM. DNeo демонстрирует, что улучшение взаимодействия между моделью-черновиком и целевой моделью через более умное кодирование признаков может дать больший прирост производительности, чем простое масштабирование моделей.
Источник: arXiv cs.AI ↗
