Проблема временной согласованности
Генерация видео с помощью диффузионных моделей часто страдает от артефактов, связанных с нарушением временной логики. Объекты могут исчезать, менять форму или двигаться нелогично. Традиционные подходы используют фиксированные методы кодирования времени, что ограничивает гибкость модели при работе с контентом разной длительности и динамики.
Решение: MoTE (Mixture of Temporal Experts)
Разработчики FrameForge представили легкий маршрутизатор (router), который анализирует входные данные и выбирает один из трех экспертов временного позиционного кодирования (RoPE). Этот механизм позволяет модели адаптироваться к разным временным масштабам, используя виртуальные интервалы, соответствующие конкретному количеству кадров видео.
Технические детали и метрики
Система оперирует тремя режимами, каждый из которых оптимизирован для определенного диапазона длительности сцен. Выбор эксперта происходит на лету, что обеспечивает баланс между детализацией и контекстом:
| Режим эксперта | Виртуальный интервал | Эквивалент кадров | Назначение |
|---|---|---|---|
| Короткий (Short) | Краткосрочный | 17 кадров | Детализация быстрых движений |
| Средний (Medium) | Среднесрочный | 69 кадров | Баланс контекста и детализации |
| Длинный (Long) | Долгосрочный | 121 кадр | Глобальная временная согласованность |
Почему это важно
Использование Mixture of Experts (MoE) для временного кодирования — это шаг к более «понимающим» видео-генераторам. Вместо того чтобы применять усредненные преобразования ко всем кадрам, FrameForge позволяет модели фокусироваться на нужном временном масштабе. Это снижает вычислительные затраты на обработку лишних данных и повышает качество генерации сложных сцен с длительными последовательностями действий.
Источник: Github ↗