Что нового в версии 1.6
Команда PixelAI Labs представила первые официальные ноды для ComfyUI, работающие с моделью LongCat-Video-Avatar 1.6 от лаборатории Meituan. Ключевые улучшения включают:
- Оптимизация INT8: Использование 8-битной квантованной модели снижает требования к VRAM без критической потери качества.
- Быстрый инференс: Модель работает всего за 8 шагов (steps).
- Гибкая настройка: Добавлен переключатель LoRA DMD/OPSD (mix_steps/mix_alpha), позволяющий балансировать между скоростью и детализацией.
- Любая длина: Видео генерируются оконным методом (window by window), что позволяет создавать ролики любой длительности.
Технические характеристики и требования
Для работы требуется видеокарта NVIDIA RTX 5090 (32 GB) или аналогичная по мощности. Общий объем загружаемых моделей составляет около 25-30 ГБ. Ниже приведена структура весов:
| Компонент | Размер | Примечание |
|---|---|---|
| LongCat-Video-Avatar-1.6 (INT8 + LoRA) | 21 GB | Основная модель, скачивается автоматически |
| Text Encoder (umt5_xxl_fp8_e4m3fn_scaled) | 6.7 GB | Рекомендуется fp8 для экономии VRAM |
| Whisper large-v3 | 3.1 GB | Для анализа аудио |
| LongCat VAE | 0.5 GB | Декодер видео |
Производительность и бенчмарки
Тестирование проводилось на системе с RTX 5090 (32 GB VRAM, 64 GB RAM) при разрешении 480p. Время генерации короткого клипа (3.8 секунды) зависит от настроек внимания:
| Настройка | Время генерации (3.8 сек видео) |
|---|---|
| Auto attention (до SageAttention) | 7.7 мин |
| SageAttention | 6.6 мин |
| SageAttention + mix_steps=4 | 5.6 мин |
Каждые дополнительные ~3.2 секунды аудио добавляют одно «окно» генерации, что увеличивает время рендера еще на 1.5–2.5 минуты.
Как запустить
Установка осуществляется через ComfyUI Manager по ссылке на репозиторий или вручную через Git. Для ускорения работы настоятельно рекомендуется установить пакет sageattention.
Процесс создания видео прост: загрузите фото (лучше в кадре «по грудь»), загрузите чистый аудиофайл (например, из ElevenLabs) и нажмите Run. Текст в промпте должен описывать персонажа и указывать «static camera on a tripod» для стабильности.
Источник: Github ↗
