Проблема статичных бюджетов
Большинство современных моделей генерации изображений в пиксельном пространстве (pixel-space diffusion) используют униформную токенизацию. Это означает, что модель выделяет одинаковый объем вычислений на каждый участок изображения, независимо от его сложности. В результате ресурсы тратятся впустую на простые фоны, в то время как детализированные области могут получать недостаточно внимания. BudgetPix решает эту проблему, предлагая адаптивный подход, который распределяет вычислительные ресурсы в зависимости от визуальной сложности и пространственной структуры изображения.
Архитектура: Энтропия как ключ к оптимизации
Система состоит из трех ключевых компонентов:
- Адаптивный энкодер: Использует энтрогийно-управляемую квадрантную структуру (quadtree) для преобразования фиксированного изображения в последовательность токенов переменной длины. Простые области кодируются крупными токенами, сложные — детализированными.
- Масштабно-зависимый декодер: Восстанавливает изображение фиксированного разрешения из наборов токенов разных масштабов.
- Гибкий график обучения и сэмплинга: Позволяет пиксельным денoiser'ам работать с переменным количеством токенов.
Трансформер инициализируется из существующих базовых моделей, но модифицируется для обработки динамического количества токенов, что позволяет использовать один и тот же чекпоинт при разных вычислительных бюджетах.
Результаты: Качество при 25% вычислений
Эксперименты показали, что BudgetPix обеспечивает превосходный компромисс между качеством и эффективностью. Модель способна достигать результатов, сопоставимых с полными версиями базовых архитектур, используя лишь четверть вычислительных ресурсов. Ниже приведено сравнение метрик GenEval для текстовой генерации (text-to-image) при использовании 25% токенов:
| Модель / Архитектура | Разрешение | Метрика (GenEval) | Использование вычислений |
|---|---|---|---|
| MiniT2I-L (с BudgetPix) | 512² | 0.874 | 25% от базового |
| MiniT2I-L (полная версия) | 512² | 0.882 | 100% |
| PixelDiT (с BudgetPix) | 1024² | 0.725 | 25% от базового |
| PixelDiT (полная версия) | 1024² | 0.721 | 100% |
В задаче условной генерации классов на ImageNet с использованием MeanFlow, BudgetPix требует всего 60% вычислительного бюджета для получения изображений с практически нулевым снижением качества (изменение FID всего на 0.8 пункта: 3.46 против 2.65).
Практическая значимость
Инновация BudgetPix позволяет развертывать мощные генеративные модели на устройствах с ограниченными ресурсами или в условиях жестких ограничений по времени отклика. Система демонстрирует устойчивость к снижению количества токенов до 10% от исходного объема, сохраняя семантическую точность и визуальную целостность сгенерированных изображений лучше, чем существующие методы слияния токенов (ToMe, FeatSim, RTI).
Источник: Karaozgur ↗