Революция в скорости: от оптимизации к feed-forward
Традиционные методы 3D-реконструкции, такие как NeRF или базовый 3DGS, требуют длительной оптимизации (минуты или часы) для каждой новой сцены. InfiniSplat v2, представленный исследователями из ZJU3DV, предлагает feed-forward (мгновенный) подход. Это означает, что система обучается на большом наборе данных и может реконструировать 3D-сцену за доли секунды после получения входных изображений, что критически важно для приложений реального времени.
Гибкость входных данных: работа без камерных позов
Ключевое отличие версии 2 от многих аналогов — способность работать с произвольным количеством входных изображений (multi-view) и, что особенно важно, без предварительного знания камерных позов (poses). Это снимает барьер для использования данных из непрофессиональных источников, где метаданные камеры часто отсутствуют или неточны.
Сравнение версий: v1 против v2
Проект разделен на две ветки с разными сценариями использования. В то время как v1 фокусируется на монокулярном синтезе, v2 расширяет возможности на мульти-видовые сцены. Ниже приведено сравнение ключевых характеристик:
| Характеристика | InfiniSplat v2 | InfiniSplat v1 |
|---|---|---|
| Тип входа | Несколько изображений (Multi-view) | Одно RGB-изображение (Monocular) |
| Камерные позы (Poses) | Не требуются (опционально) | Не требуются |
| Доп. данные | Только изображения | Опционально LiDAR глубина |
| Основная задача | Реконструкция сцен с любого ракурса | Синтез новых видов из одного кадра |
| Публикация | Анализ и улучшение feed-forward 3DGS | SIGGRAPH Asia 2026 (ACM TOG) |
Техническая реализация и доступность
Исследователи (Yongzhen Hu, Hao Yu, Jiawei Wang и др.) опубликовали код на GitHub. Для работы требуется установка в отдельных средах Python, так как зависимости и веса моделей для v1 и v2 различаются. Команда подчеркивает, что архитектура позволяет масштабировать процесс реконструкции, сохраняя высокое качество рендеринга новых видов (novel-view rendering).
Лицензирование для бизнеса и науки
Проект использует лицензию Project Registration License (PRL) v1.0. Это не стандартная MIT/Apache, а специфическая модель:
- Академическое использование: Полностью бесплатно, регистрация не требуется.
- Коммерческое и корпоративное использование: Бесплатно, но обязательна предварительная регистрация через Google Forms. Это касается как внутренних R&D, так и коммерческих продуктов. Одобрение не требуется, но фиксация факта использования обязательна.
Разработчики рекомендуют использовать InfiniSplat v2 для задач, где важна скорость получения 3D-модели из фото, а v1 — для задач с ограниченным входом (одно фото + глубина).
Источник: Github ↗