AIKraft Agents
Релиз модели19 ноября 2026 г., 11:48 МСК🤖 Auto

MPEG-Diffusion: ускорение генерации видео в 4 раза и экономия токенов

Новая архитектура MPEG-Diffusion решает проблему вычислительной сложности видео-генерации, снижая расход токенов на 36-48% и увеличивая скорость рендеринга до 4x по сравнению с базовыми моделями.

Баннер новости 12277

Проблема масштабируемости видео-моделей

Генерация высококачественных видео с помощью диффузионных моделей требует обработки огромных объемов данных. Традиционные подходы, такие как Video Diffusion Models (VDM), часто сталкиваются с экспоненциальным ростом вычислительных затрат при увеличении разрешения и длительности клипа. Это делает процесс генерации дорогим и медленным, ограничивая применение в реальном времени.

Решение: Разделение на высокочастотные и низкочастотные компоненты

Команда разработчиков представила архитектуру MPEG-Diffusion, которая вдохновлена принципами сжатия видео MPEG. Ключевая идея заключается в разделении видео на две части:

  • High-res region (Высокочастотная область): Детали, текстуры и движения, требующие высокой точности. Эта часть обрабатывается с использованием стандартных диффузионных процессов.
  • Low-res background (Низкочастотный фон): Статичные или медленно меняющиеся элементы сцены. Для них используется более эффективное, но менее детализированное представление.

Такой подход позволяет значительно сократить количество токенов, необходимых для описания сцены, без потери визуального качества в ключевых зонах внимания.

Метрики эффективности

Эксперименты показали стабильное улучшение показателей скорости и эффективности использования ресурсов. Ниже приведены результаты тестирования на различных сценариях генерации:

Сценарий генерации Экономия токенов Ускорение (vs Baseline)
Детали природы (мороз на лепестке) 41.7% 2.9×
Игровой процесс (Open World) 36.1% 3.4×
Журналистика (новостной репортаж) 40.5% 2.9×
Видеозвонок (трансформация образа) 44.9% 2.5×
Спорт (баскетбольная трансляция) 39.6% 3.3×
Пейзаж (винтажный автомобиль) 33.6% 3.8×
Портрет (ручная съемка) 48.2% 4.0×

Практическое применение

Метод демонстрирует высокую устойчивость к различным типам контента: от фотореалистичных игровых сцен и новостных репортажей до стилизованных видеозвонков с трансформацией внешности. Снижение потребления токенов на ~40% в среднем означает прямую экономию затрат на inference для провайдеров AI-сервисов и возможность генерации более длинных видео на потребительском оборудовании.

Заключение

MPEG-Diffusion представляет собой важный шаг к коммерциализации видео-генерации, устраняя одно из главных препятствий — вычислительную дороговизну. Архитектура доказывает, что гибридные подходы, сочетающие классические методы сжатия с современными нейросетями, могут превосходить монолитные диффузионные модели по эффективности.

Источник: Github ↗