Проблема фрагментации в видео-маттинге
Современные диффузионные модели для видео-маттинга, такие как VideoMaMa, ограничены в обработке 6–24 кадров за раз из-за вычислительных ограничений. При обработке длинных видеороликов они разбиваются на чанки, которые обрабатываются независимо. Это приводит к тому, что соседние чанки выбирают разные варианты уточнения маски, вызывая мерцание краев и скачки прозрачности на стыках (seams).
Архитектурные инновации VideoMaMa++
Решение построено на базе модели Wan 2.1 (1.3B), адаптированной с помощью LoRA (rank 512). Ключевые технические нововведения:
- Раздельные токены: RGB-кадры и грубая маска кодируются в отдельные потоки токенов, взаимодействующие через полное пространственно-временное самовнимание (full spatio-temporal self-attention), а не через простое конкатенирование каналов.
- Preserve & Refine токены: Введены два обучаемых эмбеддинга. Токен preserve сохраняет уже сгенерированную маску как референс, а refine уточняет грубую маску. Это позволяет использовать скользящее окно (sliding-window) для передачи результата между чанками.
- Глобальный якорь (Reference Anchor): Для предотвращения накопления ошибок в длинных последовательностях каждый чанк получает общий референсный кадр. Это работает без дополнительного дообучения.
Метрики и результаты
Модель обучалась на 3-кадровых клипах (1024×1024) в течение ~2.5 дней на 8×H100, используя один шаг денормализации (denoising step) при инференсе. RoPE позволяет обобщать 3-кадровое обучение на 6-кадровые чанки. VideoMaMa++ превосходит все существующие методы по всем метрикам на бенчмарках VideoMatte, YouTubeMatte и V-HIM60 (Hard).
| Метод | VideoMatte MAD ↓ | VideoMatte Grad ↓ | VideoMatte dtSSD ↓ | YouTubeMatte MAD ↓ | YouTubeMatte Grad ↓ | V-HIM60 MAD ↓ |
|---|---|---|---|---|---|---|
| MatAnyone-v2 | 4.04 | 3.13 | 1.13 | 1.52 | 6.46 | 4.73 |
| MaGGIe | 4.26 | 3.61 | 1.23 | 1.67 | 5.11 | 2.72 |
| VideoMaMa (Baseline) | 4.34 | 4.06 | 1.21 | 1.41 | 4.08 | 2.30 |
| VideoMaMa++ (Ours) | 3.86 | 1.79 | 0.82 | 1.15 | 3.27 | 1.69 |
Решение проблемы стыков чанков
Главное преимущество VideoMaMa++ — устранение артефактов на границах чанков. При использовании 6-кадровых чанков с перекрытием в 2 кадра, каждый кадр перекрытия предсказывается дважды. Использование токена preserve снижает расхождение между предсказаниями на 64% по метрике MAD (для метрики Gradient снижение составило 82%, с 0.68 до 0.12).
В тесте на «швах» (seam test) на датасете YouTubeMatte, VideoMaMa++ показала стабильность в 63/64 клипах (где изменения на стыках были меньше, чем внутри кадра), в то время как базовая VideoMaMa — только в 18/64. Это подтверждает, что метод эффективно борется с мерцанием, не требуя дополнительных данных или дообучения для работы с длинными видео.
Источник: Github ↗