Проблема «поднятия» (Lifting) в 3D-трекинге
Плотный 3D-трекинг из монокулярного видео традиционно требует совместного обучения задачам соответствия точек, оценки глубины и восстановления траекторий. Однако из-за нехватки 4D-супервизии (данных с метками в 4D) такие модели часто страдают от ошибок. При наложении объектов (окклюзии) глубина «поднятой» точки часто ошибочно берется от перекрывающего объекта, а не от самой цели.
Авторы показывают, что современные предобученные 2D-трекеры (например, CoWTracker) и 3D-геометрические модели (VGGT-Ω) уже дают хороший базовый результат. Но сырые «поднятые» траектории требуют постобработки для устранения артефактов.
Решение: ReLift как «ремонт» траекторий
ReLift (ReLift: Dense 3D Tracking as Lifted Trajectory Repair) — это feed-forward (без итераций) модуль, который не работает с пикселями напрямую. Он принимает на вход уже сгенерированные 2D-треки и оценки глубины, а затем применяет механизм внимания (attention) вдоль и поперек траекторий. Это позволяет:
- Сохранять надежные наблюдения;
- Исправлять искаженные позиции (repair);
- Дополнять пропущенные сегменты движения при окклюзии (completion).
Ключевое преимущество: модель обучается исключительно на геометрических входах с симулированными ошибками. Это делает ReLift независимым от конкретного 2D-трекера или модели глубины. Вы можете заменить базовую модель, и ReLift будет работать без переобучения.
Результаты на WorldTrack
На бенчмарке WorldTrack ReLift демонстрирует state-of-the-art результаты, значительно превосходя специализированные 3D-трекеры. Ниже приведено сравнение ключевых метрик точности (APD — Average Point Distance, чем меньше, тем лучше, но в контексте статьи указано улучшение на +2.1 и +3.0, что подразумевает повышение точности/снижение ошибки в относительных величинах или улучшение метрики, где выше — лучше, судя по формулировке "improving on... by").
| Метрика / Модель | Результат (APD) | Примечание |
|---|---|---|
| ReLift (All points) | SOTA | Улучшение на 2.1 APD по всем точкам |
| ReLift (Dynamic points) | SOTA | Улучшение на 3.0 APD по динамическим точкам |
| 4RC (Базовая модель) | Ниже | ReLift работает в 2.7–4.4× быстрее |
Почему это важно для индустрии
ReLift вводит парадигму «модульного улучшения». Вместо того чтобы обучать огромные модели с нуля, разработчики могут комбинировать лучшие существующие 2D-трекеры и 3D-геометрические энкодеры, а затем применять ReLift как универсальный «полировщик» траекторий. Это ускоряет разработку: любые улучшения в базовых моделях (CoWTracker, VGGT) автоматически передаются в итоговый 3D-трекинг через ReLift.
Код и демо-версия доступны на GitHub проекта relift3d.github.io.
Источник: Github ↗