Проблема масштабируемости решена
Высокое разрешение видео традиционно требует огромных вычислительных ресурсов для сохранения тонких деталей, таких как волосы и прозрачность. Классические методы на основе памяти (memory-based) становятся неэффективными при росте разрешения. Команда разработчиков представила MatAnyone-E — оптимизированную версию MatAnyone 2, которая использует стратегию разреженного распространения памяти (Sparse Memory Propagation).
Суть метода проста, но эффективна: сначала выполняется быстрая обработка в низком разрешении для выявления «неопределенных» зон. Детальное сопоставление с памятью происходит только в этих критических областях, а результаты низкого разрешения масштабируются для остальной части кадра. Это позволяет сократить объем обрабатываемых данных, не теряя качества.
Производительность на NVIDIA H200
Ключевое достижение MatAnyone-E — возможность обработки нативного 4K-видео в реальном времени на одном GPU. При использовании torch.compile модель достигает 28.6 FPS при разрешении 3840×2160, потребляя всего 3.1 ГБ VRAM. Для сравнения, оригинальная MatAnyone 2 при 4K выдает около 1.1 FPS и требует почти 80 ГБ памяти, что делает её использование на потребительском оборудовании невозможным.
Сравнение характеристик: MatAnyone 2 vs MatAnyone-E
Ниже приведены ключевые метрики производительности и потребления памяти на видеокарте NVIDIA A800-SXM4-80GB (для MatAnyone 2) и H200 (для MatAnyone-E с компиляцией). Обратите внимание на экспоненциальный рост разрыва в эффективности при переходе к 4K.
| Разрешение | Метрика | MatAnyone 2 | MatAnyone-E (C.) | Прирост / Экономия |
|---|---|---|---|---|
| 1024×1024 | Скорость (FPS) | 29.5 | 47.3 | ×1.40 быстрее |
| Память (GB) | 1.60 | 0.61 | ×1.74 меньше | |
| 1920×1080 | Скорость (FPS) | 13.6 | 37.6 | ×1.96 быстрее |
| Память (GB) | 5.47 | 1.07 | ×3.30 меньше | |
| 2560×1440 | Скорость (FPS) | 5.6 | 25.1 | ×2.95 быстрее |
| Память (GB) | 16.20 | 2.02 | ×5.33 меньше | |
| 3840×2160 (4K) | Скорость (FPS) | ~1.1 | 28.6 | ×12.00 быстрее |
| Память (GB) | ~79.69 | 3.10 | ×13.11 меньше |
Качество и точность
Несмотря на радикальное снижение вычислительной нагрузки, качество маттинга осталось на уровне оригинальной модели. В бенчмарках на наборах данных VideoMatte HR, YouTubeMatte HR и CRGNN метрика MAD (Mean Absolute Difference) у MatAnyone-E практически идентична MatAnyone 2 (например, 4.14 против 4.10 на VideoMatte HR), что подтверждает отсутствие компромиссов в детализации.
Доступность на потребительском железе
Оптимизация позволяет запускать MatAnyone-E даже на видеокартах начального уровня. На NVIDIA RTX 3090 (24 ГБ VRAM) модель обеспечивает 29.4 FPS в Full HD (1920×1080) и 18.3 FPS в 2K (2560×1440), что делает технологию доступной для создателей контента без необходимости использования серверных GPU.
Источник: Github ↗