Новый подход к работе с низким освещением
Исследователи из ARM Research представили проект GLOW-FM (Generative Latent Optics with Flow Matching), опубликованный на GitHub. Это решение направлено на решение одной из самых сложных задач компьютерного зрения — восстановления деталей и устранение шума на изображениях, снятых в условиях недостаточного освещения. В отличие от традиционных методов, GLOW-FM использует подход на основе Flow Matching в латентном пространстве.
Техническая реализация: от кодирования до интерполяции
Архитектура модели строится на нескольких ключевых этапах, обеспечивающих высокую эффективность обработки:
- Кодирование: Парные изображения (с низким и нормальным освещением) пропускаются через frozen Tiny-VAE encoder. Использование замороженного энкодера позволяет сохранить вычислительную эффективность и избежать переобучения на артефактах сжатия.
- Добавление шума: Латентное представление изображения с низким освещением ($z_0$) подвергается воздействию гауссовского шума. Это стандартный шаг в диффузионных моделях, позволяющий начать процесс «очистки» данных.
- Интерполяция: Ключевой инновацией является построение латентного пути. Модель интерполирует между зашумленным состоянием и целевым латентным представлением нормального освещения ($\tilde{z}_1$) по формуле:
$z_t = (1-t)z_0 + t\tilde{z}_1$
Где $t$ — параметр времени, изменяющийся от 0 до 1. Этот подход позволяет модели плавно «перетекать» от размытого, шумного состояния к четкому изображению, минимизируя потери информации.
Почему это важно?
Традиционные методы улучшения изображений (например, базированные на CNN) часто страдают от артефактов и потери текстур при сильном шуме. GLOW-FM, опираясь на генеративные модели, не просто удаляет шум, но и восстанавливает правдоподобные детали, которые могли быть потеряны при съемке. Использование Tiny-VAE делает процесс более легковесным по сравнению с полноразмерными VAE, что открывает перспективы для внедрения подобных технологий в мобильные устройства и встроенные системы, где ресурсы ограничены.
Доступность и развитие
Код проекта доступен в открытом доступе на платформе GitHub. Исследователи продолжают работу над оптимизацией скорости инференса и расширением применимости метода к видео-последовательностям. Для разработчиков, работающих с задачами компьютерного зрения в условиях плохой видимости (автономный транспорт, дроны, мобильная фотография), GLOW-FM представляет собой перспективную базу для дальнейших экспериментов и интеграции.
Источник: Github ↗