Проблема разрозненных подходов
Генерация полноценных 3D-активов из ограниченного набора изображений (sparse, unposed images) традиционно сталкивается с дилеммой: алгоритмы реконструкции точно восстанавливают видимую геометрию, но не могут дорисовать скрытые части, а генеративные модели создают правдоподобные формы, но игнорируют конкретные входные данные. Попытки объединить эти подходы часто терпят неудачу из-за рассогласования систем координат: реконструкция работает в пространстве, привязанном к камере, а генерация — в каноническом пространстве объекта.
Решение: Anchor-Guided Space
Команда исследователей во главе с Вэньцзюэ Ченом представила UniForge3D — архитектуру, которая устраняет этот разрыв. Ключевое нововведение — использование общего пространства, ориентированного на «якорный» вид (anchor view). В этой системе объект всегда удерживается в вертикальном положении, а ориентация привязана к азимуту выбранного опорного изображения. Это позволяет обоим модулям (реконструкции и генерации) взаимодействовать без сложных преобразований координат.
Механика работы: двусторонний обмен и выбор вида
Архитектура использует два основных механизма для повышения детализации:
- Двусторонний обмен признаками: Модули реконструкции и генерации обмениваются данными, предсказывая карты точек для каждого вида и полную структуру разреженных вокселей.
- Структурно-условный выбор вида: Предсказанные карты точек устанавливают соответствие между вокселями и пикселями. Это позволяет модели автоматически отбирать наиболее информативные входные изображения для каждого конкретного вокселя, отфильтровывая шум и нерелевантный контент.
Результаты и метрики
Метод демонстрирует состояние искусства (SOTA) по качеству внешнего вида и геометрии на стандартных бенчмарках Toys4K и GSO. UniForge3D способен генерировать полные 3D-ассеты с высокой точностью, сохраняя локальные детали, которые обычно теряются при использовании только генеративных prior-моделей.
| Характеристика | Описание в UniForge3D |
|---|---|
| Входные данные | Разреженные изображения без известой позиции камер (unposed) |
| Пространство моделирования | Anchor-guided space (ориентация по азимуту якорного вида) |
| Структура данных | Совместное предсказание point maps и sparse voxel structure |
| Бенчмарки | Toys4K, GSO (State-of-the-Art результаты) |
Значение для индустрии
UniForge3D открывает путь к автоматизированному созданию 3D-контента для игр и VR/AR из обычных фотографий, не требуя сложной предварительной обработки или калибровки оборудования. Публикация доступна в preprint arXiv:2610.15357 (2026).
Источник: Github ↗