Проблема существующих методов
Спекулятивное декодинг (Speculative Decoding, SD) значительно ускоряет работу больших языковых моделей (LLM), но его эффективность сильно зависит от характера нагрузки. Традиционные подходы используют либо модельные драфтеры (предсказывающие короткие блоки на любом тексте), либо безмодельные (например, поиск по n-граммам), которые эффективны только при повторении текста, как в коде. Проблема в том, что безмодельные драфтеры не дают оценки уверенности для каждого токена, что делает невозможным их участие в адаптивном распределении вычислительного бюджета. Разработчикам приходилось либо фиксировать один тип драфтера, либо делить GPU-ресурсы между ними.
Решение: Hybrid Spark
Авторы Ekagra Ranjan и Bharat Venkitesh предлагают фреймворк Hybrid Spark, который запускает оба типа драфтеров (модельный и n-gram) на каждом шаге. Система выбирает лучшую цепочку токенов для каждого запроса, используя концепцию «цены за верифицированный токен». Эта цена рассчитывается исходя из того, какую полезную нагрузку (goodput) этот слот мог бы принести в другом месте батча. Для сравнения эффективности разных драфтеров используется калиброванная оценка принятия токенов, обученная на общем тексте.
Результаты бенчмарков
Фреймворк протестирован в среде vLLM с использованием драфтера DSpark и n-gram драфтера. Результаты показывают существенный прирост пропускной способности (output throughput) на задачах редактирования кода, где часто встречаются повторы, при сохранении стабильности на обычных чат-задачах.
| Сценарий нагрузки | Размер батча (Batch Size) | Ускорение (Throughput) | Сравнение с базой (DSpark) |
|---|---|---|---|
| Редактирование кода | 4 | 1.10x — 1.62x | До +62% быстрее |
| Редактирование кода | 128 | 1.04x — 1.27x | До +27% быстрее |
| Чат (Temperature 0) | Любой | 0.97x — 1.01x | Без потери производительности |
Почему это важно
Главное преимущество Hybrid Spark — возможность обслуживать разнородные рабочие нагрузки (workloads) в рамках единого развертывания. Сервер больше не должен жертвовать скоростью генерации художественного текста ради скорости написания кода. Система автоматически адаптируется к контенту: если запрос похож на код, она активнее использует n-gram драфтер; если это свободный текст — полагается на модельный драфтер. Все вычисления остаются на GPU, что сохраняет асинхронное планирование и не требует сложной инфраструктуры.
Источник: arXiv cs.AI ↗