vllm-project/vllm

vLLM 0.33.0: переход на PyTorch 2.14 и CUDA 13.0, поддержка новых моделей, ускорение декодирования и удаление Medusa.

• Breaking: Удалены Medusa и legacy Ray executor; убрана поддержка CUDA 12.9 (только CUDA 13.0).
• Added: Обновление до PyTorch 2.14, torchvision 0.29.0 и Triton 3.8.0.
• Added: Добавлена поддержка новых моделей: Reflection Beam-1.0, Yandex AliceAI, Step-5 и других.
• Added: Ускорение декодирования на NVIDIA (GB300, Hopper) и AMD (MI300X/MI355X) через MonoKernel и оптимизации.
• Added: Новые API: /v1/decisions, токеновые эмбеддинги с late chunking и режим output_mode="derender".

v0.32.0: поддержка NVFP4 KV-cache, Model Runner V2, новые модели и строгие обновления безопасности.

• Added: NVFP4 KV-cache теперь доступен на SM8x, SM90, SM12x и ROCm, а также улучшена производительность GLM-5.x.
• Added: Model Runner V2 стал дефолтным для ROCm, добавлена поддержка pipeline parallelism и stock torch.compile.
• Added: Добавлена поддержка моделей EmbeddingGemma 2, MiniCPM-V 4.7, Nemotron 3.5 ASR и видео-ввода.
• Fixed: Исправлены критические уязвимости: исчерпание ресурсов шаблонов, токенизаторов и ZMQ-сокетов.
• Breaking: Удалена поддержка Python 3.10, ограничены CORS по умолчанию и удалены устаревшие режимы кэширования.

v0.31.0: оптимизация DeepSeek-V4.1, быстрый перезапуск, Model Runner V2, масштабирование и строгие правила безопасности.

• Added: DeepSeek-V4.1-Flash: FlashMLA с KV-кэшем NVFP4 стала стандартом для SM100, добавлены слияния GEMM и Engram wkv.
• Added: Fast restart: CLI vllm preload удерживает веса в GPU, добавлена поддержка data parallelism, MTP и health-эндпоинтов.
• Added: Model Runner V2: поддержка draft-model speculative decoding, асинхронного планирования DFlash и MoE memory profiling.
• Added: Large scale serving: MoonEP all2all, контекстное параллелизм префилла, DeepEPv2 с sequence parallelism и KV offloading.
• Fixed: HiSparse hardening: устранены livelock преэмпции, ошибки принятия MTP и проблемы с размерами KV-кэша.
• Breaking: Удалён tokenizer_mode=slow, AllSpark INT8 и Quark online quantization; изменены флаги --enable-mamba и --enforce-eager.

v0.30.0: поддержка DeepSeek-V4.1, Qwen3.8, Kimi K3, HiSparse, Fast Start и новые квантования; ломающие изменения в API.

• Added: Добавлена поддержка моделей DeepSeek-V4.1-Flash, DeepSeek-V4-Flash-Vision, GLM-5.3-Flash, K2-Horizon, Cohere Compass, Bailing V3 VL, Nanbeige4.2 и CPU-бэкенда для DeepSeek-V4.
• Added: Внедрён Fast Start для быстрого перезапуска через IPC-кэш весов, HiSparse для спиллинга KV-страниц в память хоста и улучшенный Model Runner V2 с overlap-бэчингом.
• Added: Оптимизирована производительность Qwen3.8-Flash-Next и Kimi K3 за счёт новых ядер, fused PLE, NVFP4 кэша и улучшенного speculative decoding.
• Added: Добавлено Gumbel-max watermarking для генерации и детекции, а также поддержка масштабного сервинга через PCP+DCP, Mooncake Store и KVCR.
• Added: Расширены возможности квантования: онлайн-квантование, NVFP4 W4A16, AutoRound для CUDA и per-quantization линейные бэкенды.
• Breaking: scale-out endpoints теперь требуют явного флага --enable-scale-out, удалён g_idx для GPTQ, устарели некоторые env vars и старый gRPC сервер.

vLLM v0.29.0: Model Runner V2 по умолчанию, поддержка новых моделей (Hy4, Qwen3.8, Kimi K3) и оптимизации для DeepSeek V4.

• Added: Model Runner V2 стал основным для всех моделей, добавлена профилировка памяти CUDA graph и оптимизации для MTP/EAGLE.
• Added: Добавлена поддержка моделей Hy4-preview, Qwen3.8-Flash-Next, GraniteSWA, NemotronH и Kimi K3 (NVFP4).
• Added: Значительные ускорения для Kimi K3 и DeepSeek V4: fused MXFP4, оптимизации GEMM, MLA и MoE-бэкенды.
• Added: Улучшено speculative decoding: метрики на уровне запросов, поддержка SM100/SM90 и новых методов (DSpark, DFlash2).
• Breaking: Удалены 10 устаревших архитектур, PyAV, старые флаги; FlexOlmo/Olmo3/Hunyuan переведены на бэкенд Transformers.

Релиз v0.28.0: оптимизация Kimi-K3 и DeepSeek V4, поддержка MLA, новый Model Runner V2 и отключение bitsandbytes.

• Breaking: Поддержка bitsandbytes перенесена во внедревный плагин, удалены calculate_kv_scales и override_attention_dtype, обновлены зависимости.
• Added: Масштабная оптимизация Kimi-K3: добавлена DCP, fused kernels, поддержка ROCm и экономия памяти через shared-expert sharding.
• Added: DeepSeek V4: полная поддержка sparse MLA для decode, MTP и DSpark, добавлена поддержка AMD Quark NVFP4.
• Added: Model Runner V2: реализована E/P/D дисагрегация, weight offloading, поддержка encoder CUDA graphs и attention-free моделей.
• Added: Tiered KV cache offloading: добавлена выгрузка на диск, метрики и кэширование префиксов для Mamba по умолчанию.

vLLM 0.27.0: поддержка Kimi K3, Qwen3.5, PyTorch 2.13.0 (breaking), FlashAttention 4 и оптимизации DeepSeek-V4.

• Breaking: Обновление до PyTorch 2.13.0, torchvision 0.28.0 и Triton 3.7.1; XPU и CPU также перешли на torch 2.13.
• Added: Полная поддержка Kimi K3: ядро, ядра AttnRes, DeepGEMM, фронтенды Python/Rust, DSpark AR fusion и шардирование общих экспертов.
• Added: Добавлена поддержка моделей Qwen3.5 (dense/MoE), K-EXAONE-2.0-750B-A37B, VaultGemma и jina-embeddings-v5-text-nano.
• Added: Углублена интеграция FlashAttention 4 на SM100: поддержка FP8 KV cache, headdim-256 и инфраструктура JIT-разогрева.
• Added: Масштабные оптимизации DeepSeek-V4: sequence parallelism, ускорение ядер, экономия памяти и снижение TTFT.

v0.26.0: поддержка Inkling, оптимизация DeepSeek-V4, fp32 lm_head, гибкие бэкенды внимания и KV-offloading.

• Added: Полная поддержка модели Inkling: базовое моделирование, CUDA-графики, MTP=1, LoRA и квантование NVFP4.
• Added: Значительный прирост производительности DeepSeek-V4 за счёт специализированных ядер маршрутизации и оптимизаций декодирования.
• Added: Внедрение fp32 lm_head для моделей генерации через head_dtype, улучшающее точность заголовков.
• Added: Гибкие бэкенды внимания: выбор бэкенда для каждой группы KV-cache и явная поддержка sliding-window.
• Added: Зрелый KV-offloading: метрики, иерархическое хранилище, объектные хранилища и поддержка CPU-кэша.

vLLM v0.24.0: поддержка MiniMax-M3, DeepSeek-V4, MRv2 по умолчанию, Rust-фронтенд и отказ от CUDA_VISIBLE_DEVICES.

• Breaking: Убрано внутреннее управление CUDA_VISIBLE_DEVICES; теперь используется аргумент device_ids.
• Added: Добавлена поддержка моделей MiniMax-M3, DiffusionGemma, Hierarchical Reasoning Model и OpenMOSS.
• Added: Model Runner V2 теперь поддерживает квантованные модели и GraniteMoE по умолчанию.
• Added: Расширены возможности Rust-фронтенда: добавлена аутентификация, CORS и новые API-эндпоинты.
• Added: Глубокая оптимизация DeepSeek-V4: улучшен TTFT, пропускная способность и добавлена поддержка SM120.