Проблема «дикой» 3D-реконструкции
Технология 3D Gaussian Splatting (3DGS) стала стандартом для быстрого рендеринга, но в реальных условиях (in the wild) она страдает от серьезных артефактов: «плавающих» объектов (floaters), мерцания и размытия. Эти проблемы возникают из-за ошибок в определении позы камеры, неполного покрытия сцены и шумной инициализации геометрии. Существующие методы часто ограничены одним типом пайплайна или требуют долгих вычислений.
Решение: Geometry-Informed Video Generator
Команда из Стэнфордского университета и Zillow Group представила GaussFusion (принято в CVPR 2026). Это не просто фильтр, а видео-генератор, который улучшает реконструкции, используя многомодальный ввод. Модель анализирует буфер гауссовых примитивов, включающий цвет, глубину, нормали и неопределенность (opacity/covariance). Этот буфер кодируется через VAE и обрабатывается трансформером на базе DiT, где блоки Geometry Adapter (GA) интегрируют геометрические признаки и текстовые описания сцены.
Уникальная симуляция артефактов
Ключ к успеху GaussFusion — специализированный пайплайн синтеза артефактов для обучения. Исследователи создали пары видео «чистый/испорченный», имитируя реальные сбои:
- Sparse-View Simulation: случайное удаление 95% кадров для имитации редких съемок.
- Diverse Initialization: использование разных стратегий инициализации (SfM, случайные облака точек, MapAnything).
- Feed-forward Degradation: рендеринг с использованием предобученных feed-forward моделей, создающих цветовые сдвиги и полупрозрачные артефакты.
Производительность и скорость
GaussFusion демонстрирует состояние искусства (SOTA) в задачах синтеза новых ракурсов. Важно, что метод работает как с оптимизационными, так и с feed-forward методами реконструкции. Эффективная вариация модели работает в реальном времени — 16 FPS — что открывает возможности для интерактивных 3D-приложений. Ниже приведено сравнение скорости инференса с базовыми методами.
| Метод | Тип обработки | Скорость (FPS) | Качество (PSNR/SSIM) |
|---|---|---|---|
| GaussFusion (Efficient) | Video-to-Video Refinement | 16 | SOTA |
| Базовые 3DGS | Optimization-based | ~1-5 (зависит от сцены) | Низкое (при артефактах) |
| Feed-forward 3DGS | Direct Inference | >30 | Среднее (геометрические ошибки) |
Значение для индустрии
Работа авторов (Liyuan Zhu, Iro Armeni и др.) показывает переход от чистой геометрии к гибридным подходам, где генеративные модели «дорисовывают» и стабилизируют 3D-сцены. Это критически важно для метавселенных, робототехники и цифровых двойников, где важна как скорость, так и визуальная чистота. Код и модель планируется к открытой публикации.
Источник: Zhuliyuan ↗