InternLM/lmdeploy

Что это за инструмент

LMDeploy — это инструмент от InternLM для сжатия, развёртывания и обслуживания больших языковых моделей (LLM). Он обеспечивает высокую скорость инференса за счёт оптимизаций ядра TurboMind и поддержки PyTorch.

Зачем нужен

Инструмент решает задачу эффективного запуска LLM на GPU, значительно превосходя по скорости такие решения, как vLLM, благодаря техникам квантования (int4/int8/MXFP4) и оптимизации внимания (Flash Attention, Paged Attention). Он полезен для снижения затрат на инфраструктуру и ускорения отклика моделей в продакшене.

Что можно реализовать

• Развёртывание сервисов инференса для моделей семейства Llama3, Qwen, DeepSeek и InternLM с поддержкой Function Calling.
• Запуск мультимодальных моделей (VLM), таких как InternVL, LLaVA и CogVLM, с балансировкой нагрузки на несколько GPU.
• Оптимизация MoE-моделей (например, Mixtral, Qwen1.5-MOE) с использованием квантования и специализированных ядер (DeepGemm, FlashMLA).
• Создание высоконагруженных сервисов (16+ RPS) для моделей среднего размера (например, internlm2-20b) с использованием онлайн-квантования KV cache.

Ключевые возможности

• Высокая производительность: TurboMind обеспечивает до 1.8x скорости по сравнению с vLLM и 1.5x по сравнению с vLLM для моделей GPT-oss на H800.
• Поддержка современных архитектур: DeepSeek V3/R1, Qwen3.5, Llama3.1, а также MoE-модели (dbrx, Mixtral).
• Гибкие движки инференса: встроенное ядро TurboMind для максимальной скорости и PyTorchEngine для быстрой экспериментальной разработки и поддержки Huawei Ascend.
• Продвинутое сжатие: поддержка 4-bit (symmetric/asymmetric) и 8-bit квантования весов и KV cache, включая MXFP4 на NVIDIA V100+.
• Специализированные оптимизации: интеграция с DLSlime и Mooncake для DeepSeek PD Disaggregation, а также поддержка CUDA Graph и Flash Decoding.

👤 Кому подойдёт: ML-инженеры, разработчики LLM-сервисов и исследователи, которым требуется быстрый и экономичный инференс LLM и VLM на GPU (NVIDIA, Huawei Ascend).