Суть проекта: дистилляция без потери структуры
Лаборатория ByteDance (через Hugging Face) выпустила SeedVR2-1.4B — модель для одноступенчатой диффузионной апскейлинговой обработки изображений. Это результат дистилляции от «учителя» SeedVR2-7B (вариант sharp EMA). Ключевое изменение: количество слоев трансформера сокращено с 36 до 6. Это не просто сжатие весов, а архитектурная оптимизация, позволяющая сохранить структурную целостность изображения при радикальном снижении требований к ресурсам.
Модель предназначена для сценариев, где оригинальная 7B-версия слишком велика или медленна: работа на ноутбуках с интегрированной графикой, батчинг задач или потенциальный деплой на мобильных устройствах. Важно отметить: модель не требует текстового энкодера (prompt-free), что упрощает пайплайн.
Сравнение производительности и ресурсов
Тестирование проводилось на Apple M2 Ultra (64 ГБ) через MLX. Результаты демонстрируют экспоненциальный рост преимущества в скорости при увеличении масштаба апскейла, так как вычислительная нагрузка трансформера растет пропорционально размеру выхода.
| Метрика | SeedVR2-7B (Teacher) | SeedVR2-1.4B (Distilled) | Преимущество |
|---|---|---|---|
| Параметры | 8,239,608,232 | 1,442,608,252 | 5.7x меньше весов |
| Размер на диске (fp16) | 15.35 GB | 2.69 GB | 5.7x компактнее |
| Пиковая RAM (4x upscale) | 14.2–16.4 GB | 4.6 GB | ≈3x легче |
| Время (512→2048, 4x) | 33.0–38.4 с | 20.2–22.5 с | ≈1.6x быстрее |
| Время (512→4096, 8x) | 257–307 с | 54.4–55.2 с | 4.7–5.6x быстрее |
Качество: четкость против мягкости
Несмотря на сокращение глубины сети, дистиллированная модель не просто «догоняет» учителя, а в некоторых аспектах превосходит его. При апскейле 4x SeedVR2-1.4B сохраняет структурную точность оригинала, но выдает более высокую энергию краев (edge energy). Это означает, что выходные изображения выглядят более резкими и детализированными, в то время как 7B-версия может давать слегка «мягкий» результат. Для задач, ограниченных памятью или задержкой (latency), это оптимальный выбор.
Путь к мобильному деплою
Авторы подчеркивают, что SeedVR2-1.4B делает возможным запуск на смартфонах, превращая это из исследовательской задачи в инженерную. Для этого требуется комбинация трех техник:
- Поэтапное выполнение (Staging): Загрузка и выгрузка моделей по очереди (Text Encoder → Diffusion → Upscaler), чтобы пиковая память не суммировалась.
- Квантование: Использование int4 для трансформера снижает вес модели до ~0.7 ГБ. В связке с VAE (fp16, 0.47 ГБ) пиковая память этапа апскейла падает до ~1.5 ГБ, что доступно современным флагманам.
- Тайлинг (Tiling): Разбиение входного изображения на тайлы позволяет контролировать память активаций независимо от итогового размера изображения.
Технические нюансы и совместимость
Модель не совместима со стандартным загрузчиком SeedVR2 из-за различия в количестве блоков (6 против 36). Для работы в ComfyUI необходимо установить специальный плагин ComfyUI-SeedVR2-1.4B, который добавляет поддержку архитектуры с 6 блоками. В репозитории доступны два варианта весов: стандартный (для PyTorch/MLX) и ComfyUI-вариант, содержащий дополнительные тензоры условной кодировки (positive/negative conditioning), необходимые для валидации в интерфейсе.
Источник: Huggingface ↗