v0.1.7minor
Вышла версия 0.1.7 с улучшением скорости обучения моделей LoRA.
- Added: Оптимизирован процесс обучения для повышения скорости.
- Выпущена новая версия v0.1.7.
cloneofsimo/lora
Использование Low-rank adaptation для быстрого fine-tuning диффузионных моделей.
Vision⭐ 7 555Jupyter Notebookпоследний релиз: v0.1.7
Что это за инструмент
Инструмент для быстрой донастройки (fine-tuning) диффузионных моделей с использованием метода Low-rank Adaptation (LoRA).
Зачем нужен
Позволяет обучать модели генерации изображений в два раза быстрее, чем метод Dreambooth, и получать итоговые файлы весом 1-6 МБ вместо гигабайтных чекпоинтов. Это упрощает распространение и использование кастомных моделей без необходимости скачивать огромные веса.
Что можно реализовать
- Создание LoRA-моделей для специфических стилей (например, поп-арт или диснеевская анимация).
- Донастройка моделей под конкретных персонажей или объекты (PTI - Pivotal Tuning Inversion).
- Генерация изображений с использованием техники inpainting (заполнение областей).
- Объединение нескольких LoRA-моделей в одну для комбинирования эффектов.
Ключевые возможности
- Совместимость с библиотекой diffusers и поддержка формата safetensors.
- Возможность донастройки не только UNet, но и текстового энкодера (text_encoder).
- Поддержка SVD distillation для дистилляции полностью обученной модели в LoRA.
- Наличие веб-демо на Huggingface Spaces и готовых примеров для Google Colab.
👤 Кому подойдёт: Разработчики и энтузиасты, работающие с генеративными моделями (diffusion models), которым нужны легкие и быстрые решения для кастомизации Stable Diffusion.