Прорыв в скорости: субреальное время генерации
Новая модель pi-H3 от исследователя Hanshengchen (LakonLab) устанавливает новый стандарт скорости для генеративных видео-моделей. Ключевое отличие — использование метода DWD (Directly Predicts Pixels), который позволяет предсказывать пиксели на финальном шаге денoising, полностью исключая из пайплайна тяжелый видео-VAE декодер. В сочетании с квантованием FP8 W8A8 для всех блоков DiT и текстового энкодера, это дает кратный прирост производительности.
На практике это означает, что на одном GPU NVIDIA B200 модель генерирует 5-секундное видео в разрешении 768p (HD) со стереозвуком всего за 3.8 секунды. Для 15-секундных роликов время составляет 18.6 секунды. Это более чем в 2 раза быстрее, чем официальный Sol-H3.
Сравнение производительности: pi-H3 против Sol-H3
Ниже приведены метрики полного цикла (end-to-end latency), включающие кодирование текста, все шаги денoising, вывод пикселей и декодирование аудио. Измерения проводились на NVIDIA B200, исключая загрузку модели и компиляцию.
| Длительность видео | Метод | Шаги | Время генерации (сек) |
|---|---|---|---|
| 5 секунд (768p) | pi-H3 | 2 | 3.81 |
| 5 секунд (768p) | Sol-H3 | 4 | 9.48 |
| 10 секунд (768p) | pi-H3 | 2 | 9.16 |
| 10 секунд (768p) | Sol-H3 | 4 | 24.31 |
| 15 секунд (768p) | pi-H3 | 2 | 18.58 |
| 15 секунд (768p) | Sol-H3 | 4 | 44.96 |
Архитектурные оптимизации
Ускорение достигается за счет трех факторов:
- Удаление VAE-декодера: pi-H3 использует DWD, вычисляя пиксели в рамках последнего шага диффузии, что экономит время на отдельном этапе декодирования.
- FP8 Quantization: Линейные слои в блоках DiT (2–46), граничных блоках, AdaLN, рефинерах и текстовом энкодере переведены в формат MXFP8 W8A8. Остальные компоненты (AdaLN, выходные слои) остаются в BF16 для сохранения стабильности.
- Optimized Attention: Используется Sol-Attn на базе cuDNN BSA, что обеспечивает эффективное вычисление внимания.
Качество: без компромиссов
Несмотря на агрессивную оптимизацию, pi-H3 сохраняет высокое качество. В сравнении с другими few-step моделями (LightX2V Turbo, FastH3, H3-Turbo v4), pi-H3 демонстрирует более динамичное движение, четкие текстуры и, что важно, высококачественный звук с полным басом и четкой речью, тогда как аналоги часто генерируют «сломанный» аудио или теряют низкие частоты. На 2-шаговом режиме pi-H3 превосходит PDMD и TaoMate-H3 по реалистичности визуала и аудио.
Доступность и планы
Проект является open-source. Демонстрация уже доступна на Hugging Face. Веса модели и код инференса будут опубликованы в репозитории LakonLab в конце ноября. Также планируется поддержка через расширение ComfyUI-piFlow. Полный код обучения будет выложен после очистки кодовой базы.
Источник: Hanshengchen ↗
