Принятие в ICLR 2025 и ключевые характеристики
Модель CatVTON (Concatenation Is All You Need for Virtual Try-On with Diffusion Models) официально принята к публикации в конференции ICLR 2025. Разработчики подчеркивают простоту и эффективность архитектуры, которая базируется на Stable Diffusion v1.5 inpainting. Главная инновация — использование конкатенации (объединения) входных данных, что позволяет избежать сложных механизмов внимания и снизить вычислительные затраты.
Экономия ресурсов: 8 ГБ VRAM и легковесная архитектура
Одной из главных проблем виртуальной примерки была высокая требовательность к видеопамяти. CatVTON решает эту проблему, позволяя генерировать изображения разрешением 1024x768 при использовании всего 8 ГБ VRAM (в режиме bf16). Общая модель содержит 899,06 млн параметров, но для обучения доступно лишь 49,57 млн, что делает процесс оптимизации значительно дешевле и быстрее.
| Характеристика | Значение / Описание |
|---|---|
| Общее число параметров | 899,06 млн |
| Обучаемые параметры | 49,57 млн |
| Требуемая VRAM (1024x768) | ~8 ГБ (при bf16) |
| Базовая модель | Stable Diffusion v1.5 inpainting |
| Лицензия | CC BY-NC-SA 4.0 (некоммерческая) |
Экосистема: ComfyUI, Gradio и новые версии
Разработчики предоставили полный стек инструментов для внедрения модели:
- ComfyUI: Выпущен специальный workflow и плагин
ComfyUI-CatVTON, позволяющий интегрировать модель в популярные графические интерфейсы для генерации. - Gradio App: Доступно веб-приложение для быстрого тестирования, где маски (agnostic masks) генерируются автоматически с помощью SCHP и DensePose.
- CatVTON-FLUX: В декабре 2024 года выпущена легковесная LoRA (37,4 млн параметров) для модели FLUX.1-Fill-dev, расширяющая возможности на базе более новой архитектуры.
- CatV2TON: В феврале 2025 года анонсирована новая модель на базе DiT (Diffusion Transformer), поддерживающая не только изображения, но и видео-примерку.
Данные и метрики
Модель оценивалась на стандартных датасетах VITON-HD и DressCode. Для оценки качества генерации предоставлен отдельный код для расчета метрик (eval.py), поддерживающий как парные (paired), так и непарные (unpaired) настройки. Код для инференса и веса доступны на HuggingFace, а полная документация и скрипты предобработки масок опубликованы на GitHub.
Источник: Github ↗