Проблема 2D-диффузии: хаос вместо движения
Генерация видео путем последовательного создания отдельных кадров (T=1) обречена на провал. При независимой выборке из гауссовского шума модель теряет контекст: угол камеры, геометрия фона и положение объектов «скачут» от кадра к кадру. На GPU NVIDIA RTX PRO 6000 Blackwell тест показал катастрофическое качество: PSNR 10.12 dB (среднее изменение пикселя 57.15 из 255) и косинусное сходство оптического потока -0.0607. Это не видео, а стробоскопический шум.
Решение Wan2.1: 3D-сжатие и Spacetime Tubes
Alibaba Wan2.1-T2V-1.3B решает проблему через 3D-диффузионный трансформер. Ключевые технические инновации:
- 3D Causal VAE (AutoencoderKLWan): Сжимает видео в латентное пространство с коэффициентом 46.29x. Тензор 81 кадра [1, 3, 81, 480, 832] сжимается до [1, 16, 21, 60, 104], исключая утечку информации из прошлого (causal leakage).
- Spacetime Tubes: Латентные блоки группируются в 1,536-мерные пространственно-временные токены. Это снижает количество attention-пар с квадриллиона (1.046 × 10¹⁵) до 1.073 млрд, экономя 2.15 ГБ VRAM на fp16.
- 3D RoPE: Вращательные позиционные эмбеддинги разделяются на оси времени, высоты и ширины (22, 21, 21 частотных пары), позволяя модели понимать движение в 3D-пространстве.
Метрики качества: сравнение подходов
Внедрение 3D-архитектуры кардинально меняет метрики согласованности кадров:
| Метрика | 2D Diffusion (T=1) | Wan2.1 3D DiT (17 кадров) |
|---|---|---|
| Frame-to-Frame PSNR | 10.12 dB | 27.74 dB |
| Среднее изменение пикселя | 57.15 | 4.11 |
| Optical Flow Cosine | -0.0607 | +0.5422 |
| Механизм генерации | Независимый шум | Совместное шумоподавление |
Внимание к движению: 90.4% кросс-временного внимания
В отличие от авторегрессионных LLM, Video DiT обрабатывает все кадры одновременно за 30 шагов Rectified Flow. Анализ Layer 21 Head 7 показал, что токен колеса движущейся машины тратит всего 9.63% внимания на свой временной срез. Остальные 90.37% распределяются по прошлым и будущим срезам (40.44% только на t'=3), что позволяет модели «отслеживать» объект во времени, а не просто угадывать его позицию.
Почему теннисный мяч исчезает за столбом?
Несмотря на прогресс, физика глубины (ось Z) остается слабым местом. 3D RoPE кодирует только координаты экрана [t', h, w]. Когда объект перекрывается столбом, текстура столба перезаписывает 1,536-мерные признаки объекта, снижая косинусное сходство с 0.9760 до 0.2792 (потеря 71.4% сигнала). В результате мяч не проходит за препятствие, а «застревает» перед ним, искажаясь. Это указывает на необходимость внедрения явного моделирования глубины в следующих итерациях.
Источник: Towards AI pub ↗