Что такое llm-d 1.0 и зачем это нужно
Google Cloud, совместно с Red Hat, IBM, CoreWeave и NVIDIA, выпустила первую стабильную версию llm-d 1.0. Это CNCF Sandbox проект (принят 12 марта 2026 года) под лицензией Apache 2.0, который работает поверх Kubernetes. Главная цель — решить проблему «round-robin» балансировки, которая ломается при работе с агентами и RL-нагрузками, где контекст сессии критичен.
Стек позволяет объединить серверы на базе vLLM или SGLang в единый координированный пул. Поддерживаются NVIDIA, AMD, Intel GPU и Google TPUs. Проект насчитывает более 500 контрибьюторов из 25 организаций.
Ключевые технические новинки
Версия 1.0 фокусируется на стабильности для production-среды (day 2 operations). Основные нововведения:
- Cache-Aware Routing: Роутер отслеживает, на каком реплике хранится кэш префикса (prefix), и направляет запрос туда, где контекст уже есть. Это минимизирует задержки.
- DisaggregatedSet: Разделение пулов на prefill (вычислительно тяжелый) и decode (ограниченный памятью) с возможностью горячей замены.
- Multi-tenant QoS: Приоритетное управление потоками предотвращает «голодание» чувствительных к задержкам запросов из-за bursty-агентов.
- Async Inference: Поддержка асинхронной обработки через Google Cloud Pub/Sub или Redis.
- TorchTPU: Нативный бэкенд PyTorch для TPU внутри vLLM/SGLang.
Результаты бенчмарков и метрики
Google опубликовала данные тестирования на развертывании GKE из 17 000 узлов в нескольких регионах. Результаты демонстрируют значительный прирост эффективности:
| Сценарий / Платформа | Ключевая метрика | Результат |
|---|---|---|
| Ironwood TPU (TPU 7x) | Медианный TTFT (Time to First Token) | Снижен более чем на 85% |
| Ironwood TPU (TPU 7x) | Пропускная способность (Throughput) | Рост в 2.4x (против plain K8s Service) |
| Gemini Platform | Hit rate prefix cache | Удвоение: с 35% до 70% |
| Gemini Platform (Coding agents) | TTFT | Снижен более чем на 35% |
| 17,000-узловой кластер GKE | Масштабирование пропускной способности | Рост в 2.9x, 99.9% успешных запросов, <1% оверхеда |
| A3 Mega (70B модель) | GPU-hours (затраты на вычисления) | Снижение почти на 60% |
| RL Time-slicing | Accelerator duty cycle | Рост с ~40% до >70% (остается ~30% простоя) |
Помимо внутренних тестов Google, сторонние пользователи сообщают о схожих результатах: Snap фиксирует hit rate кэша до 75-80%, Zenteiq — рост пропускной способности в 4 раза (с 1.47 до 5.97 млрд токенов в день на 1000 чипов TPU v6e). IBM продемонстрировала обслуживание 3 000 одновременных coding-агентов по цене в 5-10 раз ниже API-тарифов.
Сравнение с конкурентами
llm-d позиционируется не как прямой конкурент, а как часть экосистемы, где CoreWeave использует его вместе с NVIDIA Dynamo, а NVIDIA вносит вклад в развитие llm-d. Однако для сравнения характеристик:
| Характеристика | llm-d 1.0 | NVIDIA Dynamo | AIBrix |
|---|---|---|---|
| Версия | 1.0 (20 окт 2026) | v1.5.1 (6 окт 2026) | v0.7.0 (16 июн 2026) |
| Лицензия | Apache 2.0 | Apache 2.0 | Apache 2.0 |
| Управление | CNCF Sandbox | NVIDIA-led | ByteDance / vLLM org |
| Движки | vLLM, SGLang | SGLang, TensorRT-LLM, vLLM | vLLM, SGLang, TensorRT-LLM |
| NVIDIA, AMD, Intel, Google TPU | NVIDIA (Blackwell, Hopper...) | Гетерогенные GPU | |
| Кэш-маршрутизация | Prefix & Load-aware | KV-aware | Gateway routing |
| Headline результат | 2.9x throughput, 17k nodes | 2x faster TTFT (Qwen3-Coder 480B) | Не раскрыто |
Как развернуть
На Google Cloud роутер llm-d доступен как управляемый сервис GKE Inference Gateway. Поддерживается глобальный failover между кластерами и регионами. Масштабирование управляется через KEDA и HPA на основе глубины очереди и предсказанной задержки, а квоты — через Kueue. Google рекомендует поэтапное внедрение: начать с prefix-aware routing, затем добавить flow control, tiered KV offload и disaggregation.
Источник: MarkTechPost ↗