vllm-project/vllm-ascend

Релиз v0.30.0: поддержка DeepSeek V4.1 и GLM-5.3, интеграция FlashMLA, оптимизация KV Pool и исправление стабильности.

• Added: Добавлена поддержка DeepSeek V4.1 на Model Runner V2 с TurboQuant 4-bit и torch.compile.
• Added: Включена поддержка GLM-5.3 и GLM-5.3-Flash, включая sparse SFA C8 и backport reasoning.
• Added: Интеграция FlashMLA decode с DCP и DSpark, а также расширение KV Pool layerwise pooling.
• Added: Поддержка Qwen3.8-27B с non-contiguous KV cache и добавление FLA NPU backend для GDN prefill.
• Fixed: Исправлены проблемы стабильности в attention, MoE, KV transfer и Model Runner V2.

vLLM Ascend v0.23.0: полная поддержка DeepSeek V4 на Ascend 950, новые модели и оптимизации графов.

• Added: Добавлена полная поддержка DeepSeek V4 на Ascend 950, включая DSA attention, MTP и MXFP-квантование.
• Added: Расширен список поддерживаемых моделей: GLM-5.2, Qwen3.5/3.6, Kimi-K3, Gemma4 и другие.
• Added: Включен режим графов FULL_AND_PIECEWISE по умолчанию, улучшено асинхронное планирование и speculative execution.
• Added: Улучшена работа с KV-cache: добавлена гибридная префиксная кэш-память и оффлоуд на CPU/SSD.
• Added: Добавлена поддержка контекстной параллельности (Context Parallelism) и разреженного внимания для длинных контекстов.

vLLM Ascend v0.18.0: поддержка новых моделей (Kimi-K2, Qwen3, GLM5), стабилизация EPLB и оптимизация NPU Graph.

• Added: Добавлена экспериментальная поддержка моделей Kimi-K2.x, Minimax-m2.x, GLM5, Qwen3.x и DeepseekOCR.
• Added: EPLB (балансировка нагрузки экспертного параллелизма) стала стабильнее и рекомендована к использованию.
• Added: По умолчанию включен npugraph_ex с улучшенной оптимизацией графов и слиянием операций.
• Added: Значительно улучшен KV Pooling (снижение TTFT), добавлена поддержка sparse attention и Mooncake connector.
• Added: ACLGraph теперь поддерживает захват единого графа для multi-step drafts, снижая нагрузку на CPU.