Новая архитектура и режимы работы
Разработчик pedromarinhodev представил интеграцию модели HunyuanImage 3.0 в среду ComfyUI. Решение предлагает три основных режима: Base (базовая генерация), Instruct (следование инструкциям) и Instruct-Distil (дистиллированная версия для скорости). Ключевой особенностью стала поддержка различных стратегий квантования, включая int8 ConvRot и W4A8 (4-бит веса, 8-бит активации), что критически важно для работы на потребительских GPU.
Бенчмарки: от 12 минут до 21 секунды
Тестирование проводилось на одном и том же промпте (портрет пожилого рыбака) с использованием разных конфигураций. Результаты демонстрируют колоссальный разрыв в производительности между «тяжелыми» и оптимизированными режимами. Самая быстрая конфигурация — Instruct-Distil с W4A8 и включенным Spectrum — справляется с задачей за 21 секунду (3.1 с/шаг), тогда как базовая модель с 50 шагами и int8 ConvRot может занимать более 10 минут.
| Конфигурация | Шаги | Квантование | Spectrum | Общее время | Время на шаг |
|---|---|---|---|---|---|
| Instruct-Distil | 8 | W4A8 | Off | 39 s | 3.0 s |
| Instruct-Distil | 8 | W4A8 | On | 21 s | 3.1 s |
| Instruct | 50 | W4A8 | On | 1 min 30 s | 6.1 s |
| Base | 50 | W4A8 | On | 1 min 27 s | 5.9 s |
| Base | 50 | int8 ConvRot | Off | 10 min 13 s | 11.8 s |
Переписывание промптов (Prompt Rewriting)
Модель не только генерирует изображения, но и умеет улучшать исходные запросы. Тесты показали два режима обработки текста:
- Rewrite only: Модель перефразирует промпт, увеличивая его объем с ~30 до ~289 токенов. Процесс занимает около 5 минут (1 с/токен), после чего идет генерация.
- Think + rewrite: Модель сначала рассуждает о композиции и деталях (Chain-of-Thought), а затем генерирует детализированный промпт (до 737 токенов). Этот процесс занимает ~11 минут, но позволяет получить более точное соответствие сложным запросам.
Почему это важно
Интеграция HunyuanImage 3.0 в ComfyUI с поддержкой W4A8 делает высококачественную генерацию доступной на менее мощном оборудовании. Сокращение времени генерации с 10+ минут до 20-40 секунд при сохранении фотореализма открывает возможности для итеративной работы в реальном времени, что ранее было доступно только для более легких, но менее детализированных моделей.
Источник: Github ↗