Революция в пространственно-временном управлении
Команда Viggle AI представила Meridian — видео-модель, основанную на архитектуре MiniMax-H3 и геометрическом движке VGGT-Omega. В отличие от стандартных генеративных моделей, Meridian не создает события с нуля, а позволяет «переснять» уже существующий фрагмент видео. Пользователь получает полный контроль над двумя осями: пространством (позиция камеры, орбита, зум) и временем (замедление, пауза, ускорение).
Ключевая особенность системы — возможность создать «Bullet Time» эффект или просто изменить точку обзора после того, как съемка уже завершена. Модель способна генерировать новые виды, заполняя пустоты, которые остаются за пределами исходного кадра.
Техническая архитектура и компоненты
Meridian работает в три этапа: оценка глубины и поз камеры через VGGT-Omega, рендеринг референсных кадров с учетом новой траектории камеры и финальная генерация недостающих пикселей с помощью трансформера. Важно отметить, что при инференсе текстовый энкодер не загружается, а эмбеддинги предвычислены, что оптимизирует процесс.
| Компонент | Роль и характеристики |
|---|---|
| Transformer | Финетюненная версия MiniMax-H3. Размер чекпоинта: 61.7 GiB (bf16). |
| LoRA Adapter | Адаптер для быстрого инференса. Размер: 2.5 GiB. По умолчанию: 4 шага, flow-shift 3. |
| VAE | Используется базовый VAE от MiniMax-H3 для кодирования/декодирования. |
| Геометрия | Модель VGGT-Omega (отдельно скачиваемая) для оценки глубины и поз. |
| Выходные данные | 24 fps, разрешение 1344×768 (для 16:9), длительность от 3 до 10 секунд. |
Производительность и системные требования
Модель требует значительных вычислительных ресурсов. Референсная реализация работает на одном GPU с высокой памятью. Тестирование проводилось на чипе NVIDIA B200. Для домашних пользователей (например, на RTX 4090) текущая версия не оптимизирована, но сообществу предлагается разработать методы квантования и CPU-offloading.
| Длина клипа (кадров) | Время генерации | Пиковая память GPU |
|---|---|---|
| 73 кадра (~3 сек) | ~36 секунд | 88 GiB |
| 124 кадра (~5 сек) | ~80 секунд | 89 GiB |
| 243 кадра (~10 сек) | ~150 секунд | 113 GiB |
Возможности и ограничения
Meridian позволяет выполнять сложные манипуляции: «заморозить» кадр, пока камера движется вокруг объекта (эффект пули), или плавно замедлять действие. Однако у модели есть ограничения: она генерирует, а не восстанавливает невидимые поверхности. При сильных изменениях ракурса (например, полный оборот на 360 градусов) возможны артефакты, дрейф геометрии и несоответствия в деталях. Также модель не умеет сглаживать склейки между разными сгенерированными клипами.
Как запустить
Код доступен на Hugging Face. Для работы требуется установка зависимостей, скачивание весов Meridian и отдельно модели VGGT-Omega. Доступен простой CLI-интерфейс и прототип Studio для визуального планирования траектории камеры. Лицензия кода не распространяется на веса, а использование VGGT-Omega ограничено некоммерческими целями.
Источник: Huggingface ↗