vllm-project/vllm-omni

Что это за инструмент

vLLM-Omni — это фреймворк для эффективного развертывания и инференса мультимодальных моделей (omni-modality), расширяющий возможности vLLM за пределы текстовых LLM.

Зачем нужен

Инструмент решает задачу обслуживания сложных моделей, генерирующих не только текст, но и аудио, изображения, видео и действия (actions). Он полезен для снижения задержек и повышения пропускной способности за счет оптимизации работы с KV-кэшем, конвейерного выполнения этапов и поддержки неавтогенеративных архитектур.

Что можно реализовать

• Развертывание TTS-моделей (например, Qwen3-TTS, CosyVoice3) для генерации речи в реальном времени.
• Создание сервисов генерации изображений и видео на базе Diffusion Transformers (DiT), таких как Cosmos3 или HunyuanImage.
• Построение end-to-end omni-агентов, обрабатывающих и генерирующих текст, звук и визуальные данные одновременно (например, Qwen3-Omni).
• Интеграция RL-фреймворков (VeRL-Omni) для обучения и инференса моделей с учетом действий (robot-policy serving).

Ключевые возможности

• Поддержка неавтогенеративных архитектур, включая Diffusion Transformers (DiT) и параллельную генерацию.
• Гибридная оптимизация: использование эффективного управления KV-кэшем от vLLM для AR-частей и конвейерное выполнение для других этапов.
• Полная совместимость с OpenAI-compatible API сервером и интеграция с Hugging Face моделями.
• Поддержка широкого спектра аппаратных бэкендов: CUDA, ROCm, MUSA, NPU и XPU.
• Возможность дисагрегации (disaggregation) сервисов и динамического распределения ресурсов между этапами обработки.

👤 Кому подойдёт: ML-инженеры, разработчики AI-платформ и исследователи, работающие с мультимодальными моделями и нуждающиеся в высокопроизводительном инференсе.