Прорыв в генеративном видео
Команда разработчиков представила Motion-Omni — новую архитектуру для генерации видео, которая устраняет ключевые ограничения существующих моделей. В отличие от предыдущих решений, ограниченных 2-4 секундами клипов, Motion-Omni способен создавать видео неограниченной длительности и произвольных форматов (соотношение сторон), сохраняя при этом высокую семантическую согласованность и визуальное качество.
Техническая суть: единая модель для всех задач
Основная инновация заключается в унификации процесса генерации. Традиционные модели требуют отдельных архитектур или сложных пост-процессингов для изменения длительности или кадра. Motion-Omni использует единый диффузионный процесс, который масштабируется на лету. Это позволяет:
- Генерировать видео любой длины без артефактов «сшивания» кадров.
- Менять aspect ratio (соотношение сторон) в реальном времени без потери детализации.
- Поддерживать высокую частоту кадров для плавности движения.
Результаты и метрики
В ходе тестирования на стандартных бенчмарках (например, VBench и HumanEval) модель продемонстрировала превосходство над аналогами (такими как Stable Video Diffusion и ModelScope) по ключевым метрикам:
| Метрика | Преимущество Motion-Omni | Значение |
|---|---|---|
| Длительность генерации | Неограничена | От 1 сек до часовых роликов |
| Стабильность объекта | Выше | Меньше «дрожания» и деформаций |
| Гибкость формата | Универсальная | Любое соотношение сторон |
Почему это важно для индустрии
Для создателей контента, разработчиков игр и кинематографистов это означает переход от генерации «отрывков» к созданию полноценных сцен. Отсутствие необходимости в ручном монтаже и склейке кадров снижает порог входа для создания качественного видеоконтента. Архитектура открыта для сообщества, что ускоряет внедрение технологии в коммерческие продукты.
Доступность
Код модели и предобученные веса доступны на GitHub. Исследователи могут использовать фреймворк для дальнейших улучшений и адаптации под специфические задачи, такие как симуляция физики или генерация обучающих материалов.
Источник: Github ↗