Проблема масштабируемости в 3D-генерации
Создание фотореалистичных 3D-сцен из видео или изображений часто упирается в ограничения GPU-памяти. Традиционные подходы, такие как 3D Gaussian Splatting, требуют хранения информации для каждого кадра или вокселя, что делает невозможным рендеринг больших пространств без потери качества или производительности.
Решение: L3G-Mem и адаптивная память
Исследователи из KAIST (Korea Advanced Institute of Science and Technology) представили архитектуру L3G-World, ключевым компонентом которой является модуль L3G-Mem. В отличие от стандартных методов, эта система не хранит данные для каждого сгенерированного кадра. Вместо этого она использует компактные гауссовы примитивы (Gaussians) для новых исследованных областей и обновляет существующие при повторном посещении тех же участков сцены.
Это архитектурное решение позволяет GPU-памяти выходить на плато (level off) при повторном исследовании сцены, так как объем хранимых данных зависит от геометрического размера сцены, а не от количества сгенерированных кадров.
Технические детали и преимущества
Механизм работы L3G-Mem можно описать через два ключевых процесса:
- Спавн новых примитивов: При первом входе в новую область системы создаются компактные гауссовы облака, описывающие геометрию и текстуру.
- Уточнение (Refinement): При повторном посещении той же области система не дублирует данные, а обновляет параметры существующих примитивов, повышая детализацию без роста объема памяти.
Такой подход критически важен для создания бесшовных 3D-миров, где камера может свободно перемещаться по большим пространствам, не сталкиваясь с переполнением видеопамяти.
Почему это важно
Для разработчиков иммерсивных приложений, VR/AR-платформ и систем автономной навигации L3G-World предлагает путь к созданию масштабируемых 3D-сред. Возможность генерировать большие сцены, сохраняя стабильное потребление ресурсов, открывает двери для более сложных симуляций и интерактивных миров, которые ранее были невозможны из-за аппаратных ограничений.
Подробная информация и код доступны на официальном сайте проекта: cvlab-kaist.github.io/L3G-World.
Источник: Github ↗