Суть обновления: от короткого запроса к детальному описанию
MiniMax выпустила специализированную модель MiniMax-H3-Image-PE (Prompt Expansion). Её задача — не генерировать изображения напрямую, а расширять короткие текстовые инструкции пользователей в подробные промпты, оптимизированные для генераторов изображений. Модель автоматически рекомендует соотношение сторон (aspect ratio) для итогового изображения.
Архитектурно решение базируется на модели Qwen3.8-27B, которая была дообучена (fine-tuned) с использованием квантования FP4. Это позволяет эффективно запускать модель даже на потребительском оборудовании, снижая требования к видеопамяти.
Технические характеристики и требования
Для локального развертывания рекомендуется использовать фреймворк SGLang (версия >= 0.5.23) в связке с XGrammar (>= 0.2.7) для строгого соблюдения JSON-схемы вывода. Модель использует парсер рассуждений qwen3 для разделения процесса «мышления» и финального ответа.
| Параметр | Значение / Описание |
|---|---|
| Базовая модель | Qwen3.8-27B (дообученная) |
| Формат весов | FP4 (4-битное квантование) |
| Потребление VRAM | ~19 GiB (при использовании bitsandbytes для GPU без нативной поддержки FP4) |
| Максимальная длина токенов | 4096 (включая процесс рассуждения и финальный JSON) |
| Параметры генерации | temperature: 1.0, top_p: 0.95, top_k: 20, min_p: 0.0 |
| Формат вывода | JSON (expanded_caption, aspect_ratio) |
Два режима работы: Генерация и Редактирование
Релиз поддерживает два ключевых сценария использования:
- Text-to-Image (T2I) PE: Пользователь вводит короткую фразу (например, «рыжий кот на подоконнике»). Модель выдает развернутое описание на английском языке и рекомендует соотношение сторон (например, 3:2). Если пользователь выбирает режим
auto, модель сама определяет оптимальное соотношение; при явном указании оно сохраняется. - Image Editing PE: Работает в связке с Vision-Language Models (VLM). Пользователь предоставляет инструкцию по редактированию и референсные изображения. Модель анализирует исходные картинки, определяет, что нужно изменить, и формирует описание новой сцены с целевым соотношением сторон. Этот функционал пока находится в стадии разработки, но промпты уже доступны.
Интеграция с Diffusers и API
MiniMax предоставляет два пути интеграции:
- API: Доступен через глобальную платформу (platform.minimax.io) и китайскую версию (platform.minimax.cn). Документация включает примеры для генерации, редактирования и расширения промптов.
- Локальный запуск через Diffusers: Модель доступна в виде модульных блоков (
diffusers/minimax-h3-image-pe-blocks). Это позволяет использовать её в пайплайнах Hugging Face Diffusers. Для работы требуется установкаdiffusers,transformers,xgrammar,bitsandbytesиflash-linear-attention.
Пример вывода
При запросе "An orange tabby cat sleeping on a sunlit windowsill" модель возвращает следующий JSON:
{
"expanded_caption": "A warm photograph shows an orange tabby cat sleeping on a sunlit windowsill, with soft afternoon light falling across its fur.",
"aspect_ratio": "3:2"
}Этот подход позволяет значительно повысить качество генерации изображений, так как LLM лучше понимают контекст и детали, чем стандартные короткие промпты.
Источник: Huggingface ↗