Проблема существующих методов
Существующие методы чанковой авторегрессионной генерации (например, Self Forcing, Causal Forcing) сталкиваются с узким местом: для вывода одного чанка видео требуется два прохода модели (forward pass). Первый — для денуайзинга, второй — для обновления истории K/V (store). Это_serializes_ процесс, снижая пропускную способность. Даже при одношаговом денуайзинге задержка накапливается, а при длинных роллаутах качество деградирует из-за дрейфа камеры.
Решение: Wave Forcing (WF) и 1F1C
Wave Forcing предлагает со-дизайн генерации, обучения и выполнения. Ключевая идея — causal wavefront (причинная волна). Новейшие, более зашумленные чанки читают данные из более ранних, чистых чанков, даже если их денуайзинг еще не завершен. Это позволяет запускать стадии денуайзинга конкурентно на репликах полной модели.
После заполнения конвейера (pipeline fill) система достигает режима 1F1C (One Forward, One Chunk): один готовый чанк выходит из системы за каждый раунд вычислений. Это достигается за счет распределения стадий денуайзинга и обновления кэша по разным GPU-репликам.
Производительность и метрики
Эксперименты проводились на модели Wan2.1-T2V-1.3B. Wave Forcing демонстрирует рекордную скорость при сохранении качества. Ниже приведено сравнение ключевых показателей:
| Метрика / Конфигурация | Результат | Примечание |
|---|---|---|
| DiT FPS (4-step WF, 8×H200) | 147.6 FPS | Только модель диффузии (DiT) |
| End-to-End FPS (с VAE) | 134.8 FPS | BF16/FA3, разрешение 832×480 |
| Ускорение против Single-GPU | 7.07× | Базовый Single-GPU: 19.06 FPS |
| Wave Parallelism (WP) vs Ulysses/Ring | 2.53× | DiT-only, Sage+W8A8, 1.3B |
| Dynamic Degree (5-step WF) | 94.44 | VS 51.39 у Rolling Forcing |
| VBench Total Score (5-step WF) | 81.64 | VS 81.15 у Rolling Forcing |
Технические детали: Wave Runtime (WaveRT)
Для реализации этой логики создана среда Wave Runtime. Она использует Wave Parallelism (WP) для скрытия задержек доставки K/V за вычислениями. Ключевые оптимизации:
- Early Publication: Чистые реплики (с меньшим количеством ключей) могут опережать другие. K/V публикуется сразу после QKV + RoPE, а готовность проверяется непосредственно перед вниманием (attention).
- Paged Delivery: K/V записывается напрямую в упорядоченные слоты внимания, избегая удаленного конкатенирования.
- Пайплайнинг VAE: Декодер VAE разбит на этапы и выполняется на выделенных GPU, перекрываясь с работой DiT.
Обучение модели
Адаптация модели к причинному маскингу (causal masking) требует трехэтапного обучения:
- Mixed-noise initialization: Использование смешанного шума и двунаправленного внимания для инициализации.
- DMD + LPIPS: Обучение с дистанционным движением (DMD) и контролем перцептивного качества (LPIPS) для стабилизации движения.
- Causal adaptation: On-policy DMD с использованием самосгенерированной истории (RF, WF, SF роллауты), где WF-ветка использует причинный контекст.
Результат: 5-шаговая модель Wave Forcing не только быстрее, но и генерирует более динамичные видео (высокий Dynamic Degree) без потери общего качества по сравнению с Rolling Forcing.
Источник: Github ↗