NVIDIA Labs официально представила FastGen — новый открытый фреймворк на базе PyTorch, предназначенный для создания быстрых генеративных моделей через методы дистилляции и ускорения. Проект находится в стадии раннего доступа (v0.1.0), но уже демонстрирует впечатляющие возможности для масштабного обучения и оптимизации инференса.
Ключевая особенность FastGen — поддержка крупномасштабного обучения с моделями, имеющими более 20 миллиардов параметров. Фреймворк универсален: он работает с задачами Text-to-Image (T2I), Image-to-Image (I2I), Image-to-Video (I2V), Video-to-Video (V2V), а также мультимодальной генерацией видео со звуком и каузальной генерацией.
Поддерживаемые архитектуры и данные
FastGen спроектирован как агностичный к сети и данным, что позволяет интегрировать собственные архитектуры. В репозитории уже реализована поддержка популярных моделей:
| Тип данных | Поддерживаемые сети |
|---|---|
| Изображения | EDM, EDM2, DiT, SiT, SD 1.5, SDXL, FLUX.1, FLUX.2, Qwen-Image |
| Видео | Wan2.1, Wan2.2, Wan Vace, LingBot-world, CogVideoX, Cosmos Predict2, Cosmos 3 |
| Видео + Аудио | LTX-2, LTX-2.3, LTX-2.5, MiniMax H3 |
Методы дистилляции и результаты
Фреймворк поддерживает широкий спектр методов ускорения, включая траекторное сопоставление (Trajectory Matching), сопоставление распределений (Distribution Matching) и дообучение (Fine-Tuning). Уже есть практические примеры использования FastGen для создания сверхбыстрых моделей:
| Проект / Модель | Метод дистилляции | Результат |
|---|---|---|
| FastGen-AYF | AYF | 4–8 шагов генерации |
| Qwen-Image-Flash | DMD2 | 4 шага генерации |
| Baseten FLUX.2 | DMD2 | 8 шагов генерации |
| Reka Real-Time Video | FastGen | Генерация видео в реальном времени |
| CorrDiff | ECT | 1 шаг генерации |
| cBottle Super-Resolution | ECT | 2 шага генерации |
Среди поддерживаемых методов: CM, ECT, sCM, TCM, MeanFlow, AYF, KD, CausalKD, PDD, DMD2, f-Distill, Phased DMD, LADD, AnyFlow, CausVid, Self-Forcing и другие.
Инфраструктура и интеграция
FastGen поддерживает распределенное обучение через DDP и FSDP2, что критично для моделей такого масштаба. Для интерактивного инференса предусмотрены кастомные узлы для ComfyUI, а также интеграция с FlashDreams для потоковой генерации и vLLM-Omni для инференса DMD2-моделей.
Установка требует Python 3.12.3 и PyTorch версии 2.10–2.11. Для ARM64-архитектур необходимо вручную устанавливать CUDA-сборки PyTorch. Фреймворк использует систему конфигураций Hydra, позволяющую переопределять параметры прямо из командной строки.
Источник: Github ↗