microsoft/DeepSpeed-MII

Что это за инструмент

DeepSpeed-MII — это библиотека для высокопроизводительного инференса моделей, обеспечивающая низкую задержку и высокую пропускную способность за счет оптимизаций DeepSpeed-Inference.

Зачем нужен

Инструмент решает задачу быстрого развертывания и обслуживания LLM и моделей генерации изображений, автоматически применяя оптимизации под архитектуру модели и доступное железо. Он полезен для снижения затрат на инфраструктуру и повышения эффективности обработки запросов, превосходя по пропускной способности такие системы, как vLLM.

Что можно реализовать

• Высокоскоростной текстовый инференс для больших языковых моделей (LLM), таких как Llama-2-70B, Mixtral 8x7B и Phi-2.
• Генерация изображений с помощью Stable Diffusion с временем отклика менее 1 секунды.
• Обслуживание моделей с архитектурой MoE (Mixtral) с использованием эффективного кэширования.
• Развертывание инференса на системах с ограниченными ресурсами с помощью ZeRO-Inference.

Ключевые возможности

• Dynamic SplitFuse и Continuous Batching для максимальной пропускной способности.
• Blocked KV Caching для оптимизации использования памяти.
• Автоматический выбор оптимизаций (DeepFusion, Tensor-Slicing) на основе модели и железа.
• Поддержка более 37 000 моделей из Hugging Face через 8 архитектур.
• Высокая производительность CUDA-ядер.

👤 Кому подойдёт: ML-инженеры, разработчики LLM-сервисов и исследователи, оптимизирующие инференс.