Новый стандарт контроля: Layout Control
Главное нововведение FLUX.3 — встроенный контроль композиции через bounding boxes. Пользователь может задать JSON-список регионов с координатами [y_min, x_min, y_max, x_max] в масштабе 0–1000, чтобы точно указать, где должен находиться каждый объект. Это решает проблему случайного расположения элементов, характерную для многих генеративных моделей.
Кроме того, модель поддерживает multi-reference image-to-image. Можно передать несколько исходных изображений и в промпте сослаться на них через теги <ref_image_0>, <ref_image_1> и т.д., комбинируя объекты из разных источников в одной сцене.
Производительность и оптимизация
Модель поставляется в двух основных чекпоинтах. Дистиллированная версия оптимизирована для скорости, требуя всего 16 шагов без CFG (Classifier-Free Guidance). На GPU NVIDIA H100 она генерирует изображение размером 1024×1024 пикселей примерно за 2 секунды.
| Параметр | flux-3-image-klein (Distilled) | flux-3-image-klein-base |
|---|---|---|
| Шаги генерации | 16 | 50 |
| CFG (Guidance) | Нет (no CFG) | Да (по умолчанию) |
| Целевое использование | Быстрый инференс | Качество и LoRA-файнтюнинг |
| Форматы весов | BF16, FP8, NVFP4 | BF16, FP8, NVFP4 |
Техническая реализация в Diffusers
Модель интегрирована как Modular Diffusers pipeline. Это позволяет разработчикам гибко заменять или добавлять компоненты архитектуры. Для работы требуется установка последних версий библиотек diffusers и transformers (для текстового энкодера Qwen3-VL).
Поддерживается загрузка квантованных весов (FP8 rowwise и NVFP4) через метод from_single_file, что делает модель доступной для видеокарт с меньшим объемом VRAM. Также опубликованы скрипты для обучения LoRA как для text-to-image, так и для image editing.
Как начать работу
Для генерации изображения достаточно нескольких строк кода:
- Установить зависимости:
pip install -U diffusers transformers - Загрузить пайплайн:
ModularPipeline.from_pretrained("black-forest-labs/flux-3-image-klein") - Запустить генерацию с указанием промпта и параметров вывода.
Полные примеры кода, включая работу с layout control и мульти-референсами, доступны в документации Black Forest Labs и на Hugging Face.
Источник: Hugging Face blog ↗