Новый подход к 3D-кодированию
Команда Tencent ARC совместно с исследователями из Гонконского университета науки и технологии (HKUST) представила архитектуру GAE (Geometry AutoEncoder). В отличие от традиционных подходов, где переобучаются все параметры модели, GAE предлагает более эффективный метод: базовая модель геометрии замораживается (freeze), а обучение происходит исключительно для компактного многоуровневого кодека.
Ключевая инновация: Encode & Distill
Основная идея метода заключается в двух этапах:
- Encode: Использование предварительно обученной, зафиксированной модели для извлечения признаков геометрии.
- Distill: Обучение только легковесного кодека, который сжимает эти признаки в компактное представление.
Такой подход позволяет избежать вычислительно затратного полного переобучения больших моделей, сохраняя при этом высокое качество реконструкции 3D-объектов.
Преимущества метода
Фиксация геометрии фундаментальной модели обеспечивает стабильность извлечения признаков, в то время как обучение только кодека значительно снижает требования к вычислительным ресурсам и памяти. Это делает GAE перспективным решением для задач, требующих быстрого кодирования и декодирования сложных 3D-сцен.
Доступность кода
Исходный код проекта и дополнительные материалы доступны на странице проекта в GitHub, что позволяет разработчикам и исследователям самостоятельно оценить эффективность предложенного подхода на своих данных.
Источник: Github ↗