Прорыв в скорости: от 8 шагов к 1
Новая архитектура NitroFusion2 решает главную проблему дистилляции диффузионных моделей — потерю качества при сокращении шагов генерации. Традиционные методы требовали 4–8 шагов для приемлемого результата. NitroFusion2 снижает этот порог до 1–2 шагов, сохраняя конкурентоспособность на бенчмарках и обеспечивая практическую применимость одношаговой генерации.
Суть инновации: Текстовый поток как дискриминатор
Ключевое изменение заключается в использовании Text-Stream Adversarial Distillation (TSAD). В мультимодальных диффузионных трансформерах (MMDiT) текстовые токены проходят через те же слои внимания, что и визуальные. К середине сети текстовый поток уже «видит» изображение, но остается привязанным к текстовому условию (prompt).
Исследователи используют это состояние как компактное представление для состязательной потери (adversarial loss). Это позволяет одному замороженному дискриминатору задавать разные вопросы, просто меняя контекст, без дополнительных вычислительных затрат.
Aspect-Cued Discrimination (ACD)
Введение Aspect-Cued Discrimination позволяет направлять внимание дискриминатора на конкретные аспекты изображения через «подсказки» (cues). Это дает точечный контроль над качеством генерации:
- Typography (Типографика): Дискриминатор фокусируется на рендеринге текста, обеспечивая четкость букв.
- Object (Объекты): Акцент на корректности и детализации названных в промпте объектов.
- Action/Style (Действие/Стиль): Контроль за композицией и художественным оформлением.
Результаты и сравнение
Интеграция TSAD и ACD в архитектуру NitroFusion2 (на базе дизайна экспертных дискриминаторов) демонстрирует значительный прогресс. Ниже приведено сравнение возможностей генерации:
| Метрика / Режим | Традиционная дистилляция | NitroFusion2 |
|---|---|---|
| Количество шагов | 4–8 | 1–2 |
| Качество текста | Часто размыто или искажено | Четкий рендеринг (sharp rendered text) |
| Детализация | Средняя при малом числе шагов | Богатые мелкие детали (fine-grained details) |
| Гибкость дискриминации | Только по визуальным признакам | Управляемая через текстовый контекст (ACD) |
Значение для индустрии
Работа доказывает, что текстовый поток MMDiT — это не просто условие, а мощный инструмент для обратной связи. Это открывает путь к созданию более быстрых и точных генеративных моделей, где контроль над конкретными элементами сцены (текстом, объектами) становится стандартом, а не исключением.
Источник: Github ↗