AIKraft Agents
Исследования18 ноября 2026 г., 11:17 МСК🤖 Auto

DNeo: Ускорение LLM на 30% без потери качества через MoFA

Исследователи представили DNeo — архитектуру для спекулятивного декодирования, которая ускоряет генерацию на 1.3x по сравнению с SOTA (DFlash-2) за счет механизма внимания Mixture-of-Features Attention.

Баннер новости 12179

Проблема существующих методов

Спекулятивное декодирование (speculative decoding) позволяет ускорить инференс больших языковых моделей (LLM), используя маленькую модель-черновик (draft model) для генерации нескольких токенов за один проход. Однако стандартные механизмы кодирования признаков (feature encoding) от целевой модели (target model) имеют три критических недостатка:

  • Потеря информации (Lossy): Проекция признаков разрушает пространство целевой модели из-за эффекта «смешивания остатков» (residual mixing).
  • Отсутствие памяти (Memory-less): Модель не запоминает ранее отклоненные предложения, что снижает эффективность повторных попыток.
  • Равномерная выборка слоев: Использование признаков из всех слоев целевой модели равномерно игнорирует важность скрытых состояний в ключевых слоях.

Решение: DNeo и MoFA

Авторы (Jameson Sandler, Shane Bergsma и др.) предлагают архитектуру DNeo, основанную на новом механизме Mixture-of-Features Attention (MoFA). Ключевые инновации включают:

  • MoFA: Легковесный механизм кодирования признаков, который интегрирует «рабочую память» для учета ранее отклоненных предложений.
  • Rejection Memory: Запись истории отклоненных токенов для улучшения качества черновика.
  • 2-tap causal convolutions: Улучшение контекстного понимания последовательности.
  • Prefix-only cross-attention: Оптимизация взаимодействия между черновиком и целевой моделью.
  • Non-uniform target layer selection: Выбор признаков не из всех слоев, а из наиболее информативных.

Результаты и сравнение

DNeo достигает нового уровня производительности (SOTA) для высокоскоростного инференса LLM. Главное преимущество — ускорение генерации без увеличения вычислительных затрат или ухудшения качества текста.

Метрика DFlash-2 (SOTA до DNeo) DNeo (Новый метод)
Скорость генерации Базовая +30% (1.3x ускорение)
Качество генерации Высокое Без изменений (сохранено)
Вычислительный footprint Стандартный Без изменений
Механизм кодирования Стандартный (с потерями) MoFA + Rejection Memory

Почему это важно

Ускорение инференса на 30% при сохранении качества — это значительный прорыв для коммерческого развертывания LLM. DNeo демонстрирует, что улучшение взаимодействия между моделью-черновиком и целевой моделью через более умное кодирование признаков может дать больший прирост производительности, чем простое масштабирование моделей.

Источник: arXiv cs.AI ↗