Прорыв в монокулярном 3D-рендеринге
Команда исследователей под руководством Jiawei Wang и Hao Yu из Чжэцзянского университета (Zhejiang University) и UDeer.ai представила InfiniSplat. Эта архитектура, принятая к публикации в ACM Transactions on Graphics (SIGGRAPH Asia 2026), решает критическую проблему синтеза новых ракурсов (Novel View Synthesis) по единственному входному изображению (monocular) при больших изменениях угла обзора (large-baseline).
В отличие от традиционных подходов, InfiniSplat переносит генерацию гауссовых примитивов с пиксель-выровненных сеток на поддержку, выровненную по поверхности сцены. Это достигается за счет query-conditioned implicit Gaussian decoder, который предсказывает атрибуты гауссиан на семплированных опорах, опираясь на монокулярную геометрию.
Ключевые технические особенности
Основная инновация заключается в отказе от привязки к пикселям исходного изображения. Модель использует монокулярную геометрию для формирования «поддержек» (supports), на которых затем декодируются свойства 3D-гауссиан. Это обеспечивает значительно более связную структуру сцены и устраняет артефакты при сильном повороте камеры.
Сравнение с состоянием искусства (SOTA)
Эксперименты проводились на наборах данных ETH3D, ScanNet++, DL3DV и Tanks and Temples. InfiniSplat демонстрирует превосходство над существующими feed-forward методами, такими как SHARP, Flash3D и ADGaussian. Особое внимание уделено сравнению версий с входными данными только RGB и с добавлением разреженных точек LiDAR.
| Метрика / Аспект | InfiniSplat (RGB) | InfiniSplat (LiDAR) | Базовые модели (SHARP, Flash3D, ADGaussian) |
|---|---|---|---|
| Тип входа | Только RGB | RGB + Sparse LiDAR | Только RGB |
| Качество при large-baseline | Меньше видимых трещин, высокая связность | Значительно лучшее качество рендеринга | Присутствуют артефакты и разрывы |
| Архитектура | Feed-forward, Implicit Gaussian Decoder | Feed-forward, LiDAR-conditioned | Различные feed-forward подходы |
| Публикация | SIGGRAPH Asia 2026 (ACM TOG) | ||
Практическое применение и демо
Модель работает в режиме реального времени (feed-forward), что делает её пригодной для приложений, требующих быстрой обработки, таких как виртуальная реальность, навигация роботов и цифровые двойники. Доступны интерактивные демо-версии на Hugging Face, где пользователи могут перемещать камеру с помощью клавиш WASD и мыши.
Исследователи также анонсировали скорое появление InfiniSplat V2 — версии с поддержкой мульти-видового feed-forward Gaussian Splatting, что расширит возможности работы с несколькими изображениями одновременно.
Источник: Github ↗