Решение проблемы «дрейфа» при длительных видео
Главное нововведение версии 1.6 — способность генерировать видео длительностью более 10 минут без накопления ошибок. Ранние версии моделей часто теряли идентичность лица или нарушали связность кадров при автопродолжении. Новая архитектура обеспечивает стабильность на протяжении всего таймлайна, что критически важно для создания длинных видеороликов, лекций или интервью.
Естественность артикуляции и устранение артефактов
Модель значительно улучшила качество движения губ. Разработчики устранили характерные для ранних SOTA-моделей проблемы: «натужные» преувеличенные движения и перенасыщенный красный цвет губ (артефакт, известный как red-mouth). Артикуляция стала более плавной и естественной, что снижает эффект «зловещей долины» при просмотре.
Технические оптимизации и ускорение
Конвейер генерации был полностью переработан для повышения скорости вычислений и снижения времени отклика. Модель поддерживает гибкие форматы квантования для оптимизации ресурсов:
- INT8-версия основы для снижения требований к памяти.
- FP8 для баланса между качеством и скоростью.
- FA3 (Flash Attention 3) для ускорения процессов внимания.
Сравнение с конкурентами
В «Арене человеческих предпочтений» (Human Preference Arena) модель LongCat-Video-Avatar 1.6 заняла лидирующие позиции. Она обошла такие коммерческие продукты, как HeyGen и Kling Avatar 2.0, а также предыдущую версию модели (1.5). Единственным конкурентом, показавшим более высокие результаты, стала модель OmniHuman-2.0.
| Модель / Сервис | Статус в сравнении | Ключевые особенности |
|---|---|---|
| LongCat-Video-Avatar 1.6 | Лидер (кроме OmniHuman) | 10+ мин без ошибок, естественные губы, INT8/FP8/FA3 |
| OmniHuman-2.0 | Выше в предпочтениях | Основной конкурент в тестах качества |
| HeyGen | Обошла | Коммерческий лидер, уступил в естественности |
| Kling Avatar 2.0 | Обошла | Сильный видеогенератор, уступил в липсинке |
| LongCat 1.5 | Обошла | Предыдущая версия с накоплением ошибок |
Где скачать и использовать
Модель доступна для свободного использования. Архитектура использует смешивание двух лор-моделей (DMD и OPSD) для обеспечения стабильности на ранних шагах генерации. Репозиторий и веса модели размещены на Hugging Face и GitHub.
Источник: Github ↗
