Суть прорыва: 4D-сплейтинг из одного взгляда
Исследователи представили RiGS (Rigid-aware 4D Gaussian Splatting) — метод реконструкции динамических сцен, который обходит необходимость использования множественных камер или глубинных сенсоров. В отличие от предыдущих подходов, требующих сложной инфраструктуры, RiGS работает исключительно с монокулярным видео. Ключевая инновация заключается в разделении сцены на четыре типа гауссиан: статичные, динамичные, транзиентные (временные артефакты) и жесткие (rigid-aware), что позволяет точно моделировать движение твердых тел без искажений.
Технический стек и архитектура
Система интегрирует несколько передовых моделей для извлечения метаданных из видео:
- ViPE (Video Pose Estimation): Используется для предсказания глубины, интринсиков камеры, оптического потока и статических масок. Авторы модифицировали ViPE, добавив предсказание динамических масок.
- TAPIR / BootsTAPIR: Алгоритмы трекинга для генерации 2D-треков объектов, что критически важно для понимания движения в пространстве.
- 4D Gaussian Splatting: Базовый рендеринг, адаптированный для учета жесткости объектов.
Требования и подготовка данных
Для работы требуется среда с поддержкой CUDA 12.x и Python 3.10. Система ожидает специфическую структуру данных, где для каждой сцены (например, dog-example) должны быть подготовлены:
- Видеофайл (.mp4) и последовательность кадров.
- Глубина, оптический поток, согласованность потока (flow consistency).
- Внутренние параметры камеры (intrinsics) и позы (pose).
- Статические маски и треки TAP-Net.
Результаты и возможности
Метод позволяет не только рендерить итоговое видео, но и визуализировать отдельные компоненты сцены. Пользователи могут выбирать тип рендеринга через флаг --render_types:
| Тип рендеринга | Описание | Применение |
|---|---|---|
| fused | Полная скомпонованная сцена | Итоговый рендер для просмотра |
| static | Только статичные гауссианы | Анализ фона и окружения |
| dynamic | Динамичные (нерегулярные) объекты | Выделение движущихся элементов |
| rigid | Жесткие объекты | Точное моделирование твердых тел |
| transient | Временные артефакты | Фильтрация шума и бликов |
Также доступна интерактивная визуализация через веб-интерфейс (порт 8080) и рендеринг траекторий камеры (arc, lemniscate, spiral, wander, fixed).
Почему это важно
RiGS снижает порог входа для создания фотореалистичных 4D-сцен. Возможность получения качественной реконструкции из одного видео открывает перспективы для виртуальной реальности, цифровых двойников и пост-продакшена, где сбор данных с множества камер часто невозможен или экономически нецелесообразен. Работа опубликована в arXiv (eprint 2605.23672) в 2026 году авторами Chenyu Wu, Wanhua Li, Zhu-Tian Chen и Hanspeter Pfister.
Источник: Github ↗