Суть обновления: DRaFT-K для Krea 2
На GitHub появился форк популярного инструмента ostris/ai-toolkit под названием FedorAiToolkit. Главная инновация — интеграция метода DRaFT-K (Differentiable Reward Fine-Tuning) для модели Krea 2. В отличие от стандартного SFT (Supervised Fine-Tuning), этот подход оптимизирует LoRA/LoKr напрямую через дифференцируемые награды, вычисляемые на сгенерированных изображениях во время обучения.
Метод фокусируется на двух ключевых аспектах:
- Идентичность лица: использование ArcFace для сравнения с референсными фото.
- Геометрия тела: анализ пропорций и позы через SAM 3D Body и SOMA-X.
Архитектура обучения: два этапа
Процесс обучения разделен на два последовательных этапа, что позволяет сохранить стабильность генерации и повысить точность соответствия:
| Этап | Технология | Цель |
|---|---|---|
| Stage 1 (SFT) | Stock ai-toolkit | Базовое обучение LoRA/LoKr на датасете изображений субъекта. |
| Stage 2 (DRaFT) | krea2_draft_trainer | Оптимизация через градиенты последних K шагов денoising и декодирования VAE. Награды: Face (ArcFace) + Body (SAM 3D Body -> MHR -> SOMA-X). |
Технические детали и требования к железу
Форк поддерживает как LoRA, так и более эффективный LoKr. Важной особенностью является модульная система наград: если отсутствует чекпоинт SAM 3D Body, обучение автоматически переходит в режим «только лицо» (body_weight: 0). Это делает инструмент доступным для пользователей с меньшим объемом VRAM.
| Конфигурация | Требования VRAM | Особенности |
|---|---|---|
| krea2_lokr_draft.yaml | 24–32 GB | LoKr + Face/Body DRaFT (полный функционал). |
| krea2_lora_draft.yaml | 24–32 GB | LoRA + Face/Body DRaFT. |
| krea2_lokr_draft_5060_8gb.yaml | ~8 GB (RTX 5060) | Только 512px, Face-only DRaFT (без SAM 3D Body). |
Установка и запуск
Инструмент требует изолированного окружения. Для Windows и Linux/macOS процесс установки стандартен:
- Клонировать репозиторий в отдельную папку (не смешивать с оригиналом).
- Создать venv и установить зависимости (torch, node.js 20+ для UI).
- Запустить UI через
npm run build_and_start(доступен по localhost:8675).
Для активации награды за геометрию тела необходимо вручную запросить доступ к чекпоинту facebook/sam-3d-body-vith на Hugging Face и установить дополнительные пакеты (py-soma-x, warp-lang, insightface).
Почему это важно
Проблема генерации персонажей часто заключается в потере идентичности лица или искажении пропорций тела при изменении позы. DRaFT-K решает это, вводя обратную связь от «судьи» (reward model) прямо в процесс обучения. Это позволяет создавать более стабильные и анатомически корректные LoRA-модели для Krea 2, что особенно актуально для создания цифровых аватаров и персонажей. В настоящее время аналогичная работа для Ideogram 4 находится в стадии разработки.
Источник: Github ↗