Прорыв в скорости и качестве
Исследователи из PFN Research представили T3lescope — метод генеративной реконструкции, который восстанавливает высокодетализированные 3D-сцены (от одиночных объектов до городских кварталов) непосредственно из posed multi-view изображений. Ключевое отличие подхода: отсутствие необходимости в per-scene оптимизации (настройке модели под каждую конкретную сцену), что делает процесс мгновенным и масштабируемым.
Метод использует каскадную архитектуру «от грубого к детальному» (coarse-to-fine cascade). На первом этапе генерируется общая геометрия сцены, а на последующих — детализируются области интереса. Разрешение и количество уровней каскада определяются во время инференса, что позволяет гибко балансировать между охватом сцены и детализацией.
Техническая реализация
В основе T3lescope лежит фиксированный генератор, веса которого разделяются на всех уровнях детализации. Модель обучается на отдельных пространственных ячейках (cells) разных масштабов, что позволяет ей обобщать знания без жесткой иерархии. Для кодирования входных данных используется пирамида тайлов (tile pyramid), где каждая ячейка на finer-уровнях получает данные из соответствующего уровня пирамиды, соответствующего её размеру вокселя.
Сравнение с состоянием искусства
T3lescope демонстрирует результаты, сопоставимые с методами, требующими per-scene оптимизации, и превосходит feed-forward и генеративные базовые модели. Ниже приведено сравнение производительности на ключевых датасетах:
| Датасет / Сцена | Количество видов | Базовая модель (Baseline) | Результат T3lescope |
|---|---|---|---|
| Mip-NeRF 360 (garden) | 185 | GaussianWrapping | Превосходит в деталях и текстуре |
| Tanks and Temples (ignatius) | 256 | GaussianWrapping | Высокая точность геометрии |
| ScanNet++ (578511c8a9) | 253 | GenRecon | Более точное соответствие изображению |
| City blocks | 256 | CityGaussianV2 | Успешная реконструкция городской застройки |
Решение проблем разреженности и отражений
Существующие методы часто страдают от недостатка 3D-приоров при разреженных наблюдениях или наличии глянцевых/прозрачных поверхностей. T3lescope решает эту проблему за счет генеративной природы: модель «додумывает» геометрию в невидимых зонах, опираясь на выученные паттерны. Это позволяет восстанавливать сложные структуры, такие как листва, стеклянные фасады и отражения, которые обычно теряются в традиционных пайплайнах.
Значение для индустрии
Отказ от per-scene оптимизации открывает путь к созданию интерактивных 3D-сцен в реальном времени. Поскольку модель работает как feed-forward система, она может быть интегрирована в пайплаймы компьютерного зрения для быстрого создания цифровых двойников, AR/VR-контента и навигационных систем без длительных вычислительных затрат.
Источник: Github ↗