Проблема мелких лиц и артефактов
В задачах генерации и восстановления видео (AIGC) лица часто остаются размытыми из-за низкого разрешения или артефактов сжатия. Традиционные методы суперразрешения (Super-Resolution) улучшают текстуру, но не всегда корректно воспроизводят артикуляцию губ, что приводит к неестественной мимике. Лаборатория TaoLiveAIGC представила модель TaoMate-FVSR, которая решает эту проблему, объединяя визуальное восстановление и аудиогенерацию в единый процесс.
Три ключевых принципа работы
Архитектура модели построена на трех столпах, позволяющих отделить статичные детали от динамичных движений:
- Сохранение структуры источника: Используется смешивание исходного видео с шумом, что позволяет сохранить общую геометрию лица, но дает модели свободу для реконструкции неопределенных деталей рта.
- Разделение внешнего вида и движения: Модель использует структурированные референсы для передачи качественных черт лица (appearance), отделяя их от истории движения (motion history), что предотвращает «дрожание» лица.
- Восстановление под аудиогид: Оригинальный аудио-трек используется для восстановления естественной речи, а замененный аудио-трек позволяет выполнять визуальный дубляж (visual dubbing) с той же точностью синхронизации.
Возможности: от реставрации до дубляжа
TaoMate-FVSR демонстрирует два основных сценария применения. В режиме Facial restoration модель восстанавливает детали (зубы, текстуру кожи, губы) на исходном видео, сохраняя оригинальную аудиодорожку. В режиме Visual dubbing система перестраивает движение губ под новый аудиотрек, превосходя подходы, где суперразрешение и дубляж выполняются раздельными моделями.
Интеграция в полный кадр
Важной особенностью является сохранение контекста сцены. Восстановленное лицо вставляется обратно в исходный кадр (портрет или широкий план). При этом тело и фон остаются в исходном качестве, что экономит вычислительные ресурсы и сохраняет целостность композиции, избегая артефактов, характерных для глобального апскейлинга всего видео.
Источник: Github ↗