Multi-Future Drafting: ускорение LLM до 7.8x без потери качества

Проблема «химер» в текущих методах

Современные методы спекулятивного декодирования, такие как DFlash и DDTree, используют блок-драфтеры для предсказания последовательности токенов. Однако анализ показывает, что стандартное произведение распределений (chain rule) приводит к созданию «химер» — неестественных префиксов, склеенных из разных возможных будущих сценариев. Целевая модель (target) никогда не сгенерирует такие гибриды, что ведет к отбраковке токенов. В деревьях из 64 узлов «химеры» составляют 27–33% всех узлов, что критически снижает эффективность верификации.

Решение: Multi-Future Drafting (MFD)

Авторы предлагают метод MFD, который восстанавливает связь с латентной переменной. Вместо одного общего предсказания, драфтер использует K обученных mode-эмбеддингов на входе, чтобы за один проход сгенерировать K когерентных блоков (целостных будущих сценариев). Верификатор (mixture DDTree) затем выбирает тот путь, который реально следует целевая модель. Этот процесс является lossless (без потерь) и требует всего K+1 дополнительных векторов памяти.

Результаты бенчмарков на Qwen

Эксперименты проводились на моделях Qwen3 от 4B до 27B параметров при размере батча (batch size) 1. Метод MFD демонстрирует значительное превосходство над существующими аналогами, такими как DARTree и однократные деревья (single-mode tree).

Значение для индустрии

Метод MFD решает фундаментальную проблему неэффективного использования вычислительного бюджета в спекулятивном декодировании. Устранение «химер» позволяет верификатору принимать больше токенов за один шаг, что напрямую конвертируется в скорость инференса. Это особенно важно для развертывания больших языковых моделей (LLM) в условиях ограниченных ресурсов GPU, где каждый процент ускорения имеет значение.

Источник: arXiv cs.AI ↗