Интеграция SOTA-моделей в ComfyUI
Разработчик porfeng выпустил плагин ComfyUI-PhotoDeblur, который добавляет в экосистему ComfyUI два мощных инструмента для деблюра (устранения размытия): HI-Diff (NeurIPS 2023) и MISCFilter. В отличие от стандартных узлов, этот плагин поддерживает обработку изображений в их оригинальном разрешении с использованием тайлинга (нарезки на фрагменты) и алгоритма overlap blending, что критически важно для работы с высококачественными фотографиями без потери детализации.
Сравнение моделей и сценариев использования
Плагин предлагает два разных подхода к восстановлению. HI-Diff использует диффузионные процессы с настройкой шагов сэмплирования, тогда как MISCFilter работает через прямой проход нейросети (без шагов сэмплирования), что делает его быстрее, но менее гибким в настройке. Авторы рекомендуют начинать тестирование с модели RealBlur_J и тайла размером 768 пикселей.
| Параметр / Модель | HI-Diff | MISCFilter |
|---|---|---|
| Механизм работы | Диффузионная генерация (сэмплирование) | Прямой проход сети (без сэмплирования) |
| Шаги сэмплирования | 8 (GoPro) / 16 (RealBlur) | Отсутствуют |
| Поддержка TTA | Да (усреднение 8 предсказаний, ~8x нагрузка) | Не применимо |
| Типичные артефакты | Может сглаживать текстуры при высоком sigma | Возможно усиление шума в тенях |
| Варианты датасетов | RealBlur_J, RealBlur_R, GoPro | RealBlur_J, RealBlur_R, GoPro |
Технические особенности и оптимизация
Ключевой особенностью узла Deblur Image (Tiled) является возможность настройки размера тайла (tile_size) и перекрытия (overlap). Для карт с ограниченным VRAM рекомендуется использовать тайл 512 пикселей с перекрытием 64. Также реализована опция TTA (Test Time Augmentation), которая улучшает качество за счет усреднения результатов обработки перевернутых и повернутых версий изображения, но увеличивает время вычислений в 8 раз.
Для корректной работы с цветами добавлен узел Match Input Tone, который использует OpenCV для выравнивания тона между исходным и восстановленным изображением, предотвращая неестественные цветовые сдвиги. Плагин работает с FP32 тензорами, поддерживая входные форматы sRGB TIFF/PNG (рекомендуется 16-bit для последующей цветокоррекции).
Установка и требования
Для установки необходимо клонировать репозиторий в папку ComfyUI/custom_nodes и установить зависимости. Для работы MISCFilter на NVIDIA GPU требуется установка CuPy (CUDA 12). Модели весов загружаются автоматически через встроенный узел или вручную из официальных архивов Google Drive с проверкой SHA256. Структура папок строго регламентирована: веса HI-Diff размещаются в models/HI-Diff/, а MISCFilter — в models/MISCFilter/.
Источник: Github ↗