Решение проблемы глубины в AR/VR
Команда исследователей из DFKI, RPTU и Max Planck Institute представила EgoForce — архитектуру для восстановления абсолютной 3D-позы и формы кисти с предплечьем. Главная проблема монокулярных камер в умных очках (например, Project Aria) — неоднозначность глубины. EgoForce решает это, используя предплечье как пространственный ориентир, что позволяет системе работать в абсолютных координатах камеры без сложной калибровки.
Архитектура: от токенов к mesh-модели
Система обрабатывает RGB-кадр, извлекая кропы кисти и предплечья. Ключевые технические инновации:
- Unified Arm-Hand Transformer: предсказывает геометрию руки и руки одновременно, устраняя неоднозначность масштаба.
- Ray Space Closed-Form Solver: преобразует относительные позы в абсолютные 3D-меш-модели, устойчивые к искажениям объектива (fisheye, wide-FOV).
- Missing-Arm Prior: если предплечье выходит из кадра, вариационный априор восстанавливает его положение на основе контекста кисти.
Результаты: SOTA на бенчмарках
EgoForce демонстрирует значительное улучшение метрик по сравнению с предыдущими методами (HandDGP, HandOccNet, MobRecon). Снижение ошибки MPJPE (Mean Per Joint Position Error) в пространстве камеры достигает 28% на датасете HOT3D. Система стабильно работает при взаимодействии с объектами, самопересечениях рук и сложных окклюзиях.
| Метрика / Метод | HandDGP | HandOccNet | MobRecon | EgoForce (Ours) |
|---|---|---|---|---|
| Camera-Space MPJPE (HOT3D) | Выше | Выше | Выше | Снижение до 28% |
| Поддержка типов камер | Ограничено | Ограничено | Ограничено | Универсально (fisheye/perspective) |
| Работа без предплечья | Нет | Нет | Нет | Да (Variational Prior) |
Значение для индустрии
Публикация в ACM SIGGRAPH 2026 подтверждает, что компактные сенсоры в умных очках теперь способны обеспечивать точность, достаточную для телеприсутствия и манипуляций. EgoForce устраняет необходимость сбора дорогостоящих датасетов под конкретное устройство, что ускоряет внедрение 3D-жестов в потребительские AR-устройства.
Источник: Github ↗