Проблема масштабируемости видео-моделей
Генерация высококачественных видео с помощью диффузионных моделей требует обработки огромных объемов данных. Традиционные подходы, такие как Video Diffusion Models (VDM), часто сталкиваются с экспоненциальным ростом вычислительных затрат при увеличении разрешения и длительности клипа. Это делает процесс генерации дорогим и медленным, ограничивая применение в реальном времени.
Решение: Разделение на высокочастотные и низкочастотные компоненты
Команда разработчиков представила архитектуру MPEG-Diffusion, которая вдохновлена принципами сжатия видео MPEG. Ключевая идея заключается в разделении видео на две части:
- High-res region (Высокочастотная область): Детали, текстуры и движения, требующие высокой точности. Эта часть обрабатывается с использованием стандартных диффузионных процессов.
- Low-res background (Низкочастотный фон): Статичные или медленно меняющиеся элементы сцены. Для них используется более эффективное, но менее детализированное представление.
Такой подход позволяет значительно сократить количество токенов, необходимых для описания сцены, без потери визуального качества в ключевых зонах внимания.
Метрики эффективности
Эксперименты показали стабильное улучшение показателей скорости и эффективности использования ресурсов. Ниже приведены результаты тестирования на различных сценариях генерации:
| Сценарий генерации | Экономия токенов | Ускорение (vs Baseline) |
|---|---|---|
| Детали природы (мороз на лепестке) | 41.7% | 2.9× |
| Игровой процесс (Open World) | 36.1% | 3.4× |
| Журналистика (новостной репортаж) | 40.5% | 2.9× |
| Видеозвонок (трансформация образа) | 44.9% | 2.5× |
| Спорт (баскетбольная трансляция) | 39.6% | 3.3× |
| Пейзаж (винтажный автомобиль) | 33.6% | 3.8× |
| Портрет (ручная съемка) | 48.2% | 4.0× |
Практическое применение
Метод демонстрирует высокую устойчивость к различным типам контента: от фотореалистичных игровых сцен и новостных репортажей до стилизованных видеозвонков с трансформацией внешности. Снижение потребления токенов на ~40% в среднем означает прямую экономию затрат на inference для провайдеров AI-сервисов и возможность генерации более длинных видео на потребительском оборудовании.
Заключение
MPEG-Diffusion представляет собой важный шаг к коммерциализации видео-генерации, устраняя одно из главных препятствий — вычислительную дороговизну. Архитектура доказывает, что гибридные подходы, сочетающие классические методы сжатия с современными нейросетями, могут превосходить монолитные диффузионные модели по эффективности.
Источник: Github ↗
