DUET: ускорение диффузионных LLM в 2.8x без дообучения

Проблема вычислительной сложности DLM

Диффузионные языковые модели (DLM) генерируют токены параллельно через итеративное удаление шума, но их инференс остается ресурсоемким. Основные узкие места: историческое внимание (attention over growing prefix) становится дороже по мере роста контекста, а текущий блок генерации полностью обрабатывается через слои Transformer на каждом шаге, даже если обновляется лишь малая часть позиций.

Решение: Dual-Sparse Inference

Авторы предлагают Duet — фреймворк, не требующий дообучения (training-free). Он решает проблемы двумя путями:

• Prefix KV Sparsity: Использование концентрации и стабильности исторического внимания для создания компактного подмножества KV-пар, переиспользуемого на всех шагах денoising.
• Early Query Sparsity: Предсказание позиций, требующих обновления, на основе поверхностных представлений. В глубокие слои Transformer передаются только соответствующие query-векторы, избегая лишних вычислений.

Результаты бенчмарков

Эксперименты проводились при длине контекста 32K. Метод сохраняет конкурентную точность, обеспечивая значительный прирост скорости:

Значение для индустрии

Результаты показывают, что оптимизация инференса DLM возможна без потери качества и затрат на переобучение. Особенно впечатляющее ускорение на шаге (до 4.72×) критично для интерактивных приложений, где задержка генерации напрямую влияет на пользовательский опыт.

Источник: arXiv cs.CL ↗