Решение проблемы нехватки VRAM
Стандартные методы супер-разрешения видео часто упираются в лимиты видеопамяти при работе с высоким разрешением. Новый форк ComfyUI-FlashVSR-Plus-Tiled решает эту проблему, разбивая кадр на пространственные тайлы (плитки). Это позволяет обрабатывать большие выходные разрешения, снижая нагрузку на каждый проход инференса. Ключевая особенность — использование перекрывающихся тайлов с последующим смешиванием (blending) для устранения швов.
Технические детали и настройки
Инструмент поддерживает независимую настройку ширины и высоты тайла в выходных пикселях (кратность 128) и перекрытия (шаг 8 пикселей). Для сглаживания границ между тайлами доступны три метода смешивания: cosine (рекомендуемый), linear и gaussian. Обработка видео происходит потоково, с сохранением временных сегментов в float16 на диск, что позволяет работать с длинными клипами без переполнения памяти.
Сравнение режимов декодирования и точности
Форк поддерживает различные веса моделей FlashVSR+ (Turbo, Base, V1) и режимы точности. Ниже приведена сводка доступных конфигураций и их особенностей:
| Компонент | Доступные варианты | Примечание |
|---|---|---|
| Точность модели | BF16, FP16, INT8 ConvRot | INT8 требует Comfy Kitchen >=0.2.35 |
| VAE Декодер | Tiny, Wan VAE | Для видео-тайлинга пока нужен только Tiny |
| Метод смешивания | Cosine, Linear, Gaussian | Cosine — стандарт для качества |
| Размер тайла | Кратность 128 пикселей | Напрямую влияет на потребление VRAM |
Производительность и системные требования
Для работы требуется NVIDIA GPU с поддержкой CUDA. Валидация проводилась на связке PyTorch 2.7.0+cu128 и triton-windows 3.3.1.post21. На тестовой конфигурации RTX 4070 Ti SUPER с использованием модели V1 INT8 ConvRot, тайлов 512px и перекрытия 128px, 33-кадровое демо-видео было успешно обработано. Важно отметить: при подключении выхода images (полный батч кадров) требуется значительный объем системной RAM (около 17.8 GiB для 192 кадров 4K), поэтому для экономии ресурсов рекомендуется использовать только видео-выход.
Установка и интеграция
Установка осуществляется через клонирование репозитория в папку custom_nodes ComfyUI. После установки необходимо перезапустить интерфейс. Новые узлы имеют суффикс Tiled в названии. При работе с видео сохраняется аудиодорожка, частота кадров и настройки кадрирования. Для программной работы доступно API-совместимое описание workflow.
Источник: Github ↗