Проблема потерь динамического диапазона
Большинство цифровых видео хранится в 8-битном формате с низким динамическим диапазоном (LDR). При съемке значительная часть информации о яркости сцены теряется из-за насыщения (пересветов) и квантования (затемнений). Это делает невозможным точное отображение на HDR-дисплеях и ограничивает возможности постобработки, так как восстановить реалистичные детали в переэкспонированных или недоэкспонированных зонах традиционными методами крайне сложно.
Решение: DiffHDR как задача inpainting
Команда представила DiffHDR — фреймворк, который рассматривает конвертацию LDR в HDR как задачу генеративного inpainting (заполнения пропусков) в латентном пространстве видео-диффузионной модели. Ключевые технические особенности:
- Работа в Log-Gamma пространстве: позволяет модели лучше понимать непрерывную радианс сцены.
- Спацио-временные приоритеты: использование предварительно обученной видео-диффузионной модели для синтеза правдоподобных HDR-радиансов.
- Контролируемое преобразование: поддержка управления через текстовые промпты или референсные изображения.
Решение проблемы данных
Одной из главных трудностей в области является нехватка парных данных (LDR-HDR) для обучения. Авторы разработали пайплайн, который синтезирует высококачественные обучающие видео HDR из статических HDRI-карт. Это позволило обучить модель без необходимости сбора огромных датасетов реальных парных видео.
Результаты и сравнение
Эксперименты показывают, что DiffHDR значительно превосходит существующие подходы (SingleHDR, LEDiff) по метрикам точности радианса и временной стабильности. Модель генерирует видео с высокой детализацией, сохраняя согласованность кадров во времени.
| Метрика / Аспект | SingleHDR | LEDiff | DiffHDR (Ours) |
|---|---|---|---|
| Тип задачи | Расширение диапазона | Расширение диапазона | Генеративный inpainting |
| Временная стабильность | Низкая (мерцание) | Средняя | Высокая |
| Восстановление деталей | Ограничено | Ограничено | Реалистичное |
| Контроль (Text/Ref) | Нет | Нет | Да |
Значение для индустрии
Работа опубликована в ECCV 2026 и доступна на GitHub. Наличие кода и моделей открывает возможности для интеграции в постпродакшн-пайплайны, позволяя режиссерам и колористам «пересвечивать» отснятый материал, восстанавливая детали, которые считались безвозвратно утраченными при съемке в LDR.
Источник: Github ↗
