ID-V2V от Netflix: сохранение личности при рестайлинге видео

Проблема: разрыв между стилем и идентичностью

В генеративном видео критической проблемой остается сохранение человеческой идентичности при визуальных трансформациях. Стандартные модели редактирования изображений (например, NanoBanana) часто искажают позу или выражение лица при стилизации первого кадра. Если этот «неидеальный» ключевой кадр используется как референс, ошибка закрепляется на всем видео. ID-V2V решает это, позволяя использовать неточный стилизованный первый кадр, но автоматически возвращая мимику и позу к оригиналу со второго кадра.

Архитектура: разделение синтеза и сохранения

Ключевое нововведение — пространственное разделение задачи. Модель обрабатывает лицо и фон по-разному:

• Лицо: Строгое сохранение идентичности, мимики, взгляда и синхронизации губ. Для этого используются карты нормалей лица и области с ререйлингом.
• Фон и тело: Генерация нового стиля, освещения и сцены на основе отредактированного ключевого кадра и глубины.

Это позволяет обучать модель на одном исходном видео, создавая синтетические парные данные через ререйлинг, что устраняет необходимость в редких реальных парных записях.

Технические детали и обучение

Метод использует инверсный ререйлинг для создания обучающих пар. Лица из исходного видео с кинематографичным освещением переводятся в «обычное» освещение, а модель учится восстанавливать оригинальное освещение, сохраняя при этом детали лица. Поскольку лицо подается как вход, а остальная часть видео маскируется, модель одновременно учится генерировать согласованный фон и тело, опираясь на ключевой кадр.

Результаты и применение

ID-V2V демонстрирует превосходство над существующими методами в сохранении тонких выражений лица и поддерживает сценарии с одним и несколькими субъектами. Модель представлена как работа для производственных сред, где важна точность передачи актерской игры.

Источник: Github ↗