Решение проблемы «захламленных» сцен
Традиционные методы 3D-реконструкции часто сталкиваются с проблемой окклюзии (перекрытия объектов) и сложности выделения отдельных элементов в плотных сценах. WorldSculpt решает эту задачу, создавая композиционную сеточную репрезентацию (mesh representation) для сцен, состоящих из сотен индивидуальных объектов. Ключевая особенность системы — каждый объект в сцене становится отдельным, самосогласованным мешем, что позволяет манипулировать ими независимо без необходимости пост-оптимизации или слияния объектов.
Техническая архитектура: от Pixal3D к композиционным мирам
Фреймворк базируется на адаптации Pixal3D — генеративного prior для одиночных объектов. Авторы модифицировали его для работы с окклюзированными множественными видами. Процесс включает следующие шаги:
- Каноническое пространство: Для каждого объекта определяется 3D-бокс, задающий канонический куб. Камера фиксирует ориентацию.
- Пространственная привязка: Признаки DINOv3 из каждого вида сцены проецируются в каноническую воксельную сетку объекта.
- Агрегация: Используется перестановочно-инвариантный агрегатор в стиле IBR (Image-Based Rendering), который инъецируется через слои с нулевой инициализацией и LoRA. Это позволяет правдоподобно синтезировать скрытые области, сохраняя точность видимых частей.
Бенчмарк UE-MeshyScene и интеграция с 3DGS
Для оценки качества команда представила бенчмарк UE-MeshyScene. Он включает шесть фотореалистичных сред, рендеренных в Unreal Engine 5.8 при разрешении 2560×1440. Сцены содержат до нескольких сотен активов в естественных расположениях. Система также успешно применялась к реконструкции мешей из сцен, сгенерированных 3D Gaussian Splatting (3DGS) через модель Marble от World Labs. Исходная сцена 3DGS (после прунинга до 800k гауссиан для веба) преобразуется в набор отдельных мешей с сохранением синхронизированной камеры.
Сравнение подходов
| Характеристика | WorldSculpt (Alaya Lab) | Традиционные методы (NeRF/3DGS) |
|---|---|---|
| Структура вывода | Отдельные, полные мешы для каждого объекта | Единая плотная или разреженная область точек/гауссиан |
| Работа с окклюзией | Синтез скрытых частей через DINOv3 prior | Часто приводит к артефактам или «размытию» |
| Композиция | Жесткая трансформация готовых мешей (rigid composition) | Требует сложной пост-обработки для выделения объектов |
| Масштабируемость | До сотен объектов в одной сцене | Зависит от вычислительных ресурсов, сложно масштабировать |
Значение для индустрии
WorldSculpt открывает путь к созданию интерактивных 3D-миров, где каждый элемент можно изолировать, переместить или заменить. Это критически важно для симуляций, геймдева и цифровых двойников, где требуется не просто визуализация, а физически корректное взаимодействие с отдельными объектами сцены. Исходный код и модели доступны на GitHub, а полный текст статьи опубликован в arXiv (arXiv:2609.05416).
Источник: Github ↗