vllm-project/vllm-ascend

Что это за инструмент

vllm-ascend — это плагин с открытым исходным кодом, поддерживаемый сообществом, который позволяет запускать inference-движок vLLM на нейронных процессорах (NPU) Huawei Ascend.

Зачем нужен

Инструмент решает задачу аппаратной совместимости, обеспечивая бесшовное выполнение моделей LLM на инфраструктуре Ascend без необходимости модификации ядра vLLM. Он полезен для организаций, использующих NPU Huawei, так как предоставляет официальный и поддерживаемый способ развертывания популярных open-source моделей на этом оборудовании.

Что можно реализовать

• Развертывание inference-серверов на базе NPU Ascend для обслуживания LLM
• Запуск моделей с архитектурой Mixture-of-Experts (MoE) на Ascend
• Использование мульти-модальных LLM (Multi-modal LLMs) на NPU
• Масштабирование нагрузок с использованием Expert Parallelism (EP) на кластерах Ascend

Ключевые возможности

• Поддержка широкого спектра моделей: Transformer-like, MoE, Embedding и Multi-modal
• Соответствие стандарту Hardware pluggable от vLLM community
• Активная разработка и релизы (версии v0.7.3 — v0.18.0 в 2025-2026 гг.)
• Наличие официальной документации и сообщества (Slack, Users Forum)

👤 Кому подойдёт: Инженеры по машинному обучению, DevOps-инженеры и архитекторы, работающие с инфраструктурой Huawei Ascend и внедряющие vLLM для инференса LLM