Технологический прорыв: Codebook Lookup Transformer
Исследователи из S-Lab (NTU) представили CodeFormer — архитектуру, опубликованную в NeurIPS 2022. В отличие от традиционных методов, использующих только сверточные сети, CodeFormer применяет Codebook Lookup Transformer. Это позволяет модели эффективно извлекать семантические признаки даже из сильно деградированных изображений, где пиксели потеряны или искажены.
Ключевая особенность системы — параметр fidelity weight (w), который пользователь может настраивать в диапазоне от 0 до 1. Это дает контроль над компромиссом:
- Низкое значение (w < 0.5): Максимальное качество текстуры, но возможная потеря черт лица.
- Высокое значение (w > 0.7): Максимальное сохранение оригинальной идентичности, но менее «гладкий» результат.
Функциональные возможности и метрики
Инструмент поддерживает не только реставрацию, но и цветизацию, а также inpainting (заполнение пропущенных областей). Для детекции лиц используется dlib (для точности) или встроенные детекторы. Архитектура интегрируется с Real-ESRGAN для апскейлинга фона.
| Режим работы | Команда запуска | Особенности |
|---|---|---|
| Реставрация (весь кадр) | python inference_codeformer.py -w 0.7 --input_path [path] |
Поддержка Real-ESRGAN для фона |
| Реставрация (вырезанное лицо) | python inference_codeformer.py -w 0.5 --has_aligned --input_path [path] |
Высокая точность идентичности |
| Восстановление видео | python inference_codeformer.py --bg_upsampler realesrgan --face_upsample -w 1.0 --input_path [video.mp4] |
Требует ffmpeg, обработка по кадрам |
| Цветизация | python inference_colorization.py --input_path [path] |
Для ч/б или выцветших фото |
Интеграция и экосистема
Модель стала стандартом де-факто для open-source реставрации. Она интегрирована в популярные инструменты:
- Stable Diffusion WebUI и ComfyUI (как плагин для улучшения лиц).
- Hugging Face и Replicate (официальные демо-версии).
- OpenXLab (китайская платформа ML).
Разработчики предупреждают: многие сторонние сайты (например, codeformer.net) используют модель без лицензии. Официальные демо доступны только через платформы, указанные в репозитории.
Требования и установка
Для работы требуется PyTorch >= 1.7.1 и CUDA >= 10.1. Код обучения и конфиги стали доступны публично в апреле 2023 года, что позволяет исследователям дообучать модель под специфические задачи. Лицензия проекта — NTU S-Lab License 1.0.
Источник: Github ↗