Суть оптимизации: что изменилось в архитектуре
PrunaVAED — это не новая модель генерации, а прямой апгрейд (drop-in replacement) декодера VAE для LTX-2.3. Ключевое отличие заключается в применении техник прунинга (обрезки) к части архитектуры декодера. Модификация начинается с блока up_blocks.1, где количество каналов сокращается на 25%, а в последующих блоках up_blocks.2 и up_blocks.3 — на 50%.
Кодировщик (Encoder) остается неизменным, что сохраняет совместимость с существующими латентными пространствами. Общее количество параметров декодера снизилось с 407.2 млн до 345.0 млн (−15%), а общий вес VAE-модели упал с 726.1 млн до 663.9 млн параметров.
Производительность: цифры с NVIDIA H100
Бенчмарки проводились на GPU NVIDIA H100 80GB с использованием точности bfloat16 и батч-сайза 1. Результаты демонстрируют значительный прирост скорости декодирования, особенно на высоких разрешениях. Для клипов длительностью 10 секунд при 1080p ускорение достигло 2.08x, хотя для этого потребовалось использование тайлинга (tiling) из-за ограничений памяти.
| Настройка | LTX-2.3 VAED (оригинал) | PrunaVAED | Ускорение |
|---|---|---|---|
| 5 сек @ 720p | 841.3 мс | 500.2 мс | 1.68× |
| 10 сек @ 720p | 1670.7 мс | 998.0 мс | 1.67× |
| 5 сек @ 1080p | 1959.3 мс | 1152.1 мс | 1.7× |
| 10 сек @ 1080p | 4903 мс* | 2356 мс | 2.08× |
* Примечание: время 4903 мс получено с использованием тайлинга; без него декодирование заняло бы 14533 мс.
Качество: визуальные и метрические показатели
Несмотря на агрессивное сжатие, PrunaVAED сохраняет «почти оригинальное» визуальное качество. Метрики PSNR (Peak Signal-to-Noise Ratio) и SSIM (Structural Similarity Index) показывают минимальные отклонения. Например, для набора данных Distilled two-stage при 720p PSNR составляет 39.23, а LPIPS (метрика различий) — всего 0.0087, что свидетельствует о высокой структурной схожести с оригиналом. Также сохранена временная согласованность кадров (Δ-frame PSNR).
Как внедрить и ограничения
Для использования PrunaVAED не требуется переобучение модели. Достаточно скачать репозиторий и использовать скрипт prunavaed/patch_diffusers.py, который обеспечивает совместимость с версией библиотеки diffusers.
Важно учитывать ограничения: тестирование проводилось на клипах по 4 секунды при 24 fps. Модель не является полной T2V-генератором и не заменяет денуайзер LTX-2.3. Лицензия LTX-2 Community License Agreement накладывает определенные ограничения на коммерческое использование, поэтому перед интеграцией необходимо изучить условия.
Источник: Huggingface ↗