PKU-YuanGroup/Helios

Что это за инструмент

Helios — это модель генерации видео на 14B параметров, способная создавать длинные видеоролики в реальном времени (до 19.5 FPS на одной GPU H100) без использования стандартных методов ускорения или борьбы с дрейфом.

Зачем нужен

Инструмент решает задачу синтеза высококачественных видео длительностью в несколько минут, сохраняя высокую когерентность и скорость генерации. Он полезен тем, кто хочет получить производительность уровня реального времени на одном устройстве, избегая сложных архитектурных оптимизаций, таких как KV-cache, квантование или специфические стратегии анти-дрифта.

Что можно реализовать

• Генерация длинных видеороликов (minute-scale) с высокой стабильностью изображения
• Инференс на потребительском оборудовании (поддержка 4K видео через community-туториалы)
• Масштабируемое развертывание с использованием Context Parallelism на нескольких GPU
• Использование на нейросетевых процессорах Ascend-NPU
• Интеграция через стандартные библиотеки Diffusers и vLLM-Omni

Ключевые возможности

• Достигает 19.5 FPS на одной H100 GPU без применения KV-cache, causal masking, sparse attention или quantization
• Генерирует видео длительностью в минуты без использования self-forcing, error-banks или keyframe sampling
• Позволяет размещать до четырех моделей Helios (14B) в памяти одной 80 GB GPU
• Поддерживает Group Offloading, снижая потребление VRAM до ~6GB
• Работает с AOTI (Ahead-of-Time Compilation) и поддерживает Diffusers

👤 Кому подойдёт: Исследователи в области генеративного ИИ, разработчики ML-инфраструктуры, инженеры по оптимизации инференса (LLM/diffusion), разработчики, работающие с GPU (NVIDIA H100, Ascend NPU) и нуждающиеся в высокоскоростной генер