Проблема: компромисс между скоростью и качеством
Высококомпрессированные видео-автоэнкодеры (VAE) позволяют ускорить работу Diffusion Transformer (DiT), снижая количество обрабатываемых токенов. Однако традиционные методы сжатия ухудшают качество реконструкции, а изменение распределения латентных векторов требует дорогостоящей переобучки DiT с нуля. Оптимизация только по метрикам реконструкции (PSNR/SSIM) часто приводит к тому, что сжатые латенты становятся «непонятны» для предварительно обученной модели генерации.
Решение: двухэтапный подход GRACE
Исследователи из KAIST (Корейский передовой институт науки и технологий) предложили Generation-Aware Latent Compression for Efficient Video Generation (GRACE). Ключевая инновация — разделение латентного представления на две части:
- Базовый латент (z_base): Замороженный, извлекается из оригинального предобученного энкодера Wan2.1. Он обеспечивает совместимость с DiT.
- Остаточный латент (z_res): Обучаемый слой, который кодирует детали и движение, теряемые при сильном сжатии.
На первом этапе автоэнкодер обучается не на пиксельной реконструкции, а на выравнивании признаков в пространстве замороженного DiT. На втором этапе DiT адаптируется с помощью легковесного Fine-tuning (LoRA) и асимметричного денуайзинга, где базовый слой обрабатывается раньше остаточного.
Результаты: 8x меньше токенов, 11.1x быстрее
GRACE сжимает латент Wan2.1 с конфигурации f8t4c16p2 (32.8k токенов) до f16t8c32p2 (4.3k токенов) при разрешении 480×832. Это дает кратное ускорение инференса без падения качества генерации.
| Модель | Конфигурация | Токены | Latency T2V (с) | Latency I2V (с) | VBench-T2V Total | VBench-I2V Total |
|---|---|---|---|---|---|---|
| Wan2.1-14B (Baseline) | f8t4c16p2 | 32.8k | 851.5 | 863.2 | 83.93 | 87.92 |
| Open-Sora 2.0 | f32t4c128p1 | 8.2k | 138.6 | 138.4 | 77.51 | 84.07 |
| DC-Gen | f32t4c32p1 | 8.2k | 157.1 | 165.0 | 84.62 | 84.13 |
| LTX-Video 0.9.7 | f32t8c128p1 | 4.3k | 99.6 | 104.1 | 79.17 | 87.97 |
| GRACE (Ours) | f16t8c32p2 | 4.3k | 75.8 | 77.7 | 85.81 | 87.90 |
При разрешении 736×1280 ускорение достигает 15.5x по сравнению с оригинальной Wan2.1-14B. Важно отметить, что GRACE превосходит конкурентов по метрике VBench-I2V Total, несмотря на меньшее количество токенов, чем у LTX-Video или DC-Gen.
Почему это важно для индустрии
Результаты слепых пользовательских тестов (39 респондентов) показывают, что GRACE предпочтительнее базовой модели по визуальному качеству, временной согласованности и соответствию тексту. Метод демонстрирует, что оптимизация автоэнкодера «под задачу генерации» (generation-aware), а не просто под реконструкцию кадров, позволяет сохранить семантическую целостность видео даже при экстремальном сжатии латентного пространства. Это открывает путь к развертыванию тяжелых видео-моделей (14B+ параметров) на более доступном оборудовании.
Источник: Github ↗