Суть обновления: от 50 до 8 трансформеров
Haoailab представила FastH3 Omni, новую архитектуру для генерации видео и аудио с опорой на референсы (reference-guided generation). Ключевое изменение — радикальное сокращение вычислительной сложности. Если базовая модель Base требовала 50 трансформеров для обработки, то FastH3 Omni справляется всего с 8 трансформерами, сохраняя при этом высокое качество визуального и звукового контента.
Модель позволяет комбинировать текстовый промпт с изображениями, видеофрагментами и голосовыми референсами, создавая итоговый ролик с синхронизированным звуком. Это решает одну из главных проблем генеративного ИИ — разрыв между визуальным рядом и аудиодорожкой.
Производительность: цифры и бенчмарки
Тестирование проводилось на кластере из 8 GPU NVIDIA GB200 с использованием политики обслуживания lossless (без потери точности чисел). Результаты демонстрируют колоссальный прирост скорости (снижение end-to-end latency) для клипов длительностью 5, 10 и 15 секунд при разрешении 768p и частоте 24 FPS.
| Сценарий (Референс) | Длительность | Base (ср. время) | FastH3 Omni (ср. время) | Ускорение |
|---|---|---|---|---|
| 1 изображение | 5 секунд | 35.44 с | 5.67 с | 6.25× |
| 1 изображение | 10 секунд | 78.53 с | 9.37 с | 8.38× |
| 1 изображение | 15 секунд | 139.69 с | 14.14 с | 9.88× |
| 1 изображение + голос | 5 секунд | 35.92 с | 5.84 с | 6.15× |
В некоторых сценариях FastVideo UniServe достигает реального времени генерации (real-time generation), что критически важно для интерактивных приложений и потокового контента. Общий диапазон ускорения по 27 рабочим нагрузкам составил 5.6–11.9 раз.
Локальный запуск и доступность
Модель полностью открыта (open-source). Haoailab подтвердила поддержку ComfyUI, что упрощает интеграцию в существующие пайплайны локальных AI-решений. Для запуска на потребительском оборудовании доступны веса в формате NVFP4 QAD.
- Железо: Поддерживаются NVIDIA DGX Spark и RTX 5090.
- Дата релиза: Полный гайд по локальному запуску и сопутствующий релиз запланированы на 21 октября.
- Партнеры: В разработке участвовали Nuva Lab Reactor, команда NVIDIA FastGen и Enterprise-продукты NVIDIA.
Почему это важно
Снижение задержки с ~140 секунд до ~14 секунд за 15-секундный ролик меняет экономику генерации видео. Это позволяет переходить от «пакетной» обработки к интерактивным сессиям, где пользователь может быстро итерировать промпты и референсы. Комбинация 8 трансформеров вместо 50 при сохранении качества (подтвержденном качественными сравнениями с базовой моделью и 36-слойным VAE) указывает на успешную стратегию дистилляции, которую можно масштабировать на более доступном оборудовании.
Источник: Haoailab ↗