Проблема «запеченного» света
Gaussian splats обеспечивают высокую визуальную точность при реконструкции реальных мест, но их освещение «запечено» в момент съемки. Солнце, тени, атмосфера и погода фиксируются как статичные параметры. Это создает барьер для симуляций и Embodied AI, где требуется контролируемое изменение условий среды без потери визуальной fidelity.
Техническое решение: PRTGS и геометрия
Новый метод использует предварительно вычисленное переносное излучение (Precomputed Radiance Transfer, PRT), описанное в исследовании PRTGS (2024). Ключевое отличие Niantic Spatial — интеграция этого подхода в пайплайн real-to-sim. Вместо пересъемки сцены, система использует сопровождающую .glb сетку (mesh) как основу для симуляции нового освещения, а затем переносит данные на гауссианы, пересчитывая только коэффициенты сферических гармоник.
Возможности бета-версии
Технология позволяет генерировать вариации сцены, сохраняя неизменными коллизионные, навигационные и семантические метки. Доступные изменения включают:
- Смену времени суток (включая рассвет).
- Изменение атмосферы (туман, влажность).
- Визуальные эффекты погоды (дождь, мокрый асфальт, отражения).
Ограничения и требования к качеству
Качество пересвета напрямую зависит от точности исходной геометрии. Ранние тесты показали, что естественные ландшафты (трава, неровная местность) лучше скрывают артефакты неточной реконструкции. В то же время жесткие поверхности, стекло, окна и острые углы требуют дополнительной валидации, так как ошибки в сетке приводят к заметным визуальным искажениям.
Для кого и как это работает
На данный момент сервис доступен только для design partners в рамках совместной работы. Это не публичный API, а коллаборативный процесс: партнер выбирает сцену и целевые условия, Niantic Spatial производит рендеринг вариантов, а команда партнера тестирует их в своих симуляторах. Цель — создать «доменную рандомизацию» на основе реальных миров, позволяя обучать AI-агентов в одном и том же пространстве при разных погодных и временных условиях.
Источник: Nianticspatial ↗