bghira/SimpleTuner

В SimpleTuner v4.11.0 отключён cuDNN из-за ошибок, добавлена поддержка Ampere/Ada для CuTe, EMA теперь в FP32, а VAE-тайлинг включается автоматически при нехватке памяти.

• Breaking: cuDNN attention принудительно отключён из-за проблем с корректностью градиентов в последних версиях cuDNN-frontend.
• Added: Добавлена оптимизированная поддержка CuTe attention для архитектур Ampere (RTX 3090) и Ada (RTX 4090, L40S).
• Added: EMA-накопление теперь выполняется в FP32, что предотвращает потерю мелких дельт и улучшает сходимость моделей.
• Added: VAE tiling автоматически включается при возникновении ошибки OOM, избавляя от необходимости ручной перезагрузки.
• Added: Появилась возможность обучать LoRA/LyCORIS адаптеры в точности fp32 через флаг --adapter_model_precision для улучшения сходимости.
• Fixed: Исправлены проблемы с AnyFlow (особенно для MOSS Image), устранён лимит кэша torch dynamo и гонки процессов при загрузке модели в REPA.

Добавлена поддержка FLUX.3 Image Klein и MOSS-Image, исправлены критические ошибки FSDP2/DDP и оптимизировано кэширование VAE.

• Added: Добавлена поддержка обучения и редактирования изображений для FLUX.3 Image Klein с использованием ассистивного LoRA.
• Added: Реализована поддержка базового обучения и SFT для модели MOSS-Image с оптимизированным потреблением VRAM.
• Fixed: Исправлены ошибки корректности обучения в режимах MultiGPU (FSDP2 и DDP), включая работу LoRA и LyCORIS.
• Fixed: Ускорено кэширование VAE для больших датасетов за счет устранения избыточного изменения размера изображений.
• Added: Автоматическое внимание KohakuFA теперь устанавливается по умолчанию при наличии дополнительного пакета attention-cute.

Добавлена поддержка Qwen Image 2.1 с LoRA и caption-driven обучением, улучшена работа с Webshart и исправлены ошибки.

• Added: Добавлена полная поддержка Qwen Image 2.1: пресеты VRAM, нативные JSON-подписи, ассистивное обучение LoRA и примеры конфигураций.
• Added: Реализован метод обучения LoRA на основе подписей (caption-driven) и улучшена обработка вебшартов с кэшированием латентов.
• Fixed: Исправлено масштабирование стохастического оптимизатора, метки разрешения валидационных изображений и сохранение чекпоинтов в DDP.
• Fixed: Устранены проблемы с DINO-патчами, автоматическим flow shift для Qwen 2.1 и обработкой RGBA-входов.
• Added: Оптимизирована производительность сэмплера: исключены повторяющиеся полные сканирования бакетов.

Релиз v4.9.0: добавлены NextLat и Explorative Modeling, улучшена компиляция LTX 2.5, внедрён RVC-тренажер и оптимизация VRAM.

• Breaking: Удалена интеграция group offload из Diffusers; бэкенд Torch Inductor переписан на C++.
• Added: Добавлены методы NextLat и Explorative Modeling (XM) для улучшения качества и стабильности генерации.
• Added: Встроенный тренажер RVC для расширения датасетов музыки и поддержка Mega-Cache для загрузки/экспорта через Hugging Face Hub.
• Added: Оптимизация RamTorch для совместного использования квантованных весов между процессами GPU, снижающая потребление VRAM.
• Fixed: Исправлены графовые разрывы при компиляции LTX 2.5 с Flash Attention 2, работа SDNQ и режим reduce-overhead с активационной чекпоинтингом.

SimpleTuner v4.8.0: поддержка InfiniteTalk, MixFlow, Self-Transcendence, локальный мониторинг и исправления багов.

• Added: Добавлена поддержка обучения InfiniteTalk с оптимизированными конфигурациями по VRAM.
• Added: Внедрены новые методы: Self-Transcendence, Internal Guidance, MixFlow и DiffusionBlocks.
• Added: Добавлен встроенный локальный дашборд метрик (Prometheus/WebUI) как замена TensorBoard.
• Added: Реализована поддержка кубического сплайна для распределения временных шагов flow-matching.
• Fixed: Исправлены баги кэширования мульти-подписей, Audio VAE при батчах >1 и детерминизм DDP.

Поддержка LTX Video 2.5, MiniMax Music 3 и H3, новые опции для LoRA и батчей, улучшения AnyFlow и Webshart.

• Added: Полная поддержка дообучения LTX Video 2.5
• Added: Расширенная работа с MiniMax Music 3: дистилляция RVQ, латентные рефинеры и обучение LoRA
• Added: Новые флаги --init_lora_step и train_batch_size для управления шагами LoRA и размера батчей
• Added: Поддержка аудио-тренинга для MiniMax H3 и оптимизация датасетов Webshart с .txt подписями
• Fixed: Исправления в AnyFlow (воспроизводимость, негативные промпты), MiniMax H3 и Metal FlashAttention

Поддержка MiniMax H3, Webshart видео, EMA и LoRA; исправления Flux2, AnyFlow, LTX и баги мульти-GPU.

• Added: Добавлена поддержка моделей MiniMax H3 (v2v, i2v, t2v) и fl2v, включая дистилляцию h3_drift.
• Added: Webshart datasets теперь поддерживают видео, протестировано на OpenVid 1M и MiniMax H3.
• Added: Реализован режим EMA copy-through для синхронизации EMA с активными весами до начала обучения.
• Added: Улучшена поддержка формата LoRA comfyui и добавлена поддержка MultiGPU FP8 RamTorch.
• Fixed: Исправлена ошибка смешанной точности в Flux2 attention для строгих механизмов внимания.
• Fixed: Исправлена двойная квантование SDNQ моделей и корректная работа mixed-rank LoRA с init_lora.

Релиз SimpleTuner v4.6.0: оптимизация скорости через сегментированное чекпоинтирование и выгрузку активаций, поддержка новых видео-моделей.

• Added: Введено сегментированное чекпоинтирование для снижения задержек и улучшения кэширования при сохранении высокой скорости обучения.
• Added: Добавлена выгрузка активаций внимания (attention activation offload) на CPU, что позволяет экономить VRAM без полного отключения gradient checkpointing.
• Added: Добавлены примеры конфигураций и поддержка новых моделей: Wan S2V, SanaVideo, LTXVideo 0.9.5, LongCat Video, Anima, Kolors и других.
• Added: Расширена поддержка сегментированного чекпоинтирования для архитектур ACE-Step, AuraFlow, Boogu, Chroma, Cosmos, Cosmos 3 и ERNIE.
• Fixed: Исправлена совместимость пайплайнов LongCat и Kandinsky5, а также нормализованы базовые URL API.