Технология полного тела, а не только лица
Kandinsky Avatar 1.0 (S2V) — это модель Speech-to-Video, которая генерирует видео говорящего аватара на основе входного аудиозаписи и одной референсной фотографии. В отличие от многих аналогов, анимируется не только голова, но и вся фигура: модель учитывает артикуляцию, мимику, наклоны головы и жесты рук. Важно отметить, что сама модель не синтезирует звук, а лишь оживляет визуальный ряд под готовую речь.
Две версии: Pro и Lite
Разработчики представили два варианта модели, адаптированных под разные вычислительные мощности. Выбор зависит от требований к качеству (HD/SD) и доступных ресурсов GPU:
| Параметр | Kandinsky S2V Pro | Kandinsky S2V Lite |
|---|---|---|
| Количество параметров | 21B | 2B |
| Разрешение выхода | HD | SD |
| Требования к GPU | До ~50 ГБ VRAM (требуется CPU-offload) | Домашние видеокарты |
| Лицензия | MIT (код и веса открыты) | |
Архитектура и обучение
Генерация происходит чанками по 5 секунд с использованием 16 шагов дистилляции pi-Flow. Для обеспечения плавности перехода между фрагментами применяется механизм памяти FramePack. Модель обучена на базе более чем одного миллиона видеофрагментов, что позволяет ей корректно работать с 95 языками мира.
Практическое применение
Открытие весов под лицензией MIT делает технологию доступной для коммерческого использования. Это открывает возможности для создания виртуальных помощников, образовательного контента и персонализированных видео-сообщений. Для тестирования доступна демо-версия на Hugging Face Spaces, а полный код и веса опубликованы на GitHub.
Источник: Github ↗