Проблема существующих методов
Современные модели генерации видео (такие как Uni3C, GEN3C, MagicMotion) позволяют контролировать движение камеры или перемещение объектов, но страдают от недостатка точности при больших изменениях ракурса. Когда камера поворачивается, открывая новые участки сцены, которые не видны в первом кадре, модели часто генерируют галлюцинации или теряют пространственную согласованность. Текстовые промпты слишком абстрактны, а контроль по кадрам — слишком ресурсоемок.
Решение: LIFT и On-Policy Self-Distillation
Новая архитектура LIFT (Layout-in-Future Video Generation) использует on-policy self-distillation (OPSD). Суть метода: «учитель» с плотным контролем по каждому кадру обучает «ученика», который получает только разметку финального кадра (bounding boxes) и траекторию камеры. Это позволяет модели научиться предсказывать, как объекты должны выглядеть и располагаться в будущем, исходя из разреженных данных.
Датасет LIFT-Vista
Для обучения авторы создали специализированный датасет LIFT-Vista, содержащий клипы с крупными изменениями поля зрения. Ключевая особенность — 84,8% клипов содержат объекты, которые не видны в первом кадре, но появляются позже.
| Метрика / Характеристика | Значение |
|---|---|
| Всего клипов в датасете | 120 898 |
| Клипов с разметкой камеры и лейаута | 58 272 |
| Среднее число объектов на клип | 5.5 |
| Количество категорий объектов | 8 302 |
| Доля клипов с «скрытыми» объектами | 84,8% |
Результаты сравнения
LIFT превосходит базовые модели (Uni3C, GEN3C, MagicMotion, Direct-a-Video) по качеству видео и точности контроля. Модель работает в двух режимах: только по траектории камеры и в комбинированном режиме (камера + лейаут финального кадра). Архитектура использует DiT (Diffusion Transformer), где лейаут кодируется через цветовые карты, а камера — через Plücker ray embeddings.
- Преимущество: Точное управление тем, что появится в кадре после поворота камеры.
- Технология: Двухрежимное обучение с дистилляцией от учителя с плотной разметкой.
- Применение: Создание кинематографичных шотов, где важно контролировать композицию финального кадра.
Источник: Github ↗