Проблема монокулярного захвата
Восстановление 3D-движения всего тела по одному видеокадру (monocular video) давно стало «святым граалем» компьютерного зрения. Однако, несмотря на прогресс в реконструкции торса, конечности — особенно кисти рук и стопы — остаются слабым звеном. Стандартные модели часто игнорируют локальные визуальные подсказки, полагаясь только на глобальные представления тела, что приводит к артефактам и неестественным движениям пальцев и стоп.
Архитектура ExMR: Рефинер для экстремитетов
Команда разработчиков (Tom Wehrbein, Bodo Rosenhahn) представила систему ExMR (Extremity Motion Refinement). В отличие от предыдущих подходов, ExMR использует двухэтапный процесс:
- Инициализация: Временной трансформер предсказывает базовую последовательность движения SMPL-X на основе 2D-ключевых точек и признаков изображения.
- Рефинер (Refinement): Два специализированных модуля — HandMR и FootMR — переосмысливают локальные визуальные данные. Они предсказывают остаточные вращения суставов (elbows, wrists, fingers, ankles, knees), корректируя ошибки первого этапа.
Ключевое новшество: модули не просто используют ключевые точки, а комбинируют их с признаками изображения из предварительно обученных моделей реконструкции, что критически важно, так как 2D-ключевые точки пальцев часто бывают пропущены или зашумлены.
Результаты и бенчмарки
Эксперименты проводились на четырех сложных датасетах: ARCTIC, MOYO, RICH и MOOF. ExMR демонстрирует статистически значимое превосходство над текущими методами SOTA (State-of-the-Art), особенно в задачах, требующих тонкой моторики.
| Метрика | Датасет | Улучшение относительно SOTA | Значение |
|---|---|---|---|
| Hand per-vertex error | MOYO | -19% | Значительное повышение точности формы кисти |
| Ankle joint angle error | MOYO | -18% | Более естественная биомеханика стопы |
| General reconstruction | ARCTIC, RICH, MOOF | Outperforms | Лидерство во всех тестовых сценариях |
Практическое применение и экспорт
ExMR — это не просто академический эксперимент. Система готова к интеграции в реальные рабочие процессы:
- Игровая индустрия: Экспорт анимации в FBX для Unity и Unreal Engine.
- 3D-моделирование: Поддержка формата BVH для Blender.
- Робототехника: Совместимость с humanoid-роботами.
- Демо: Интерактивная версия доступна на Hugging Face. При инференсе используются автоматически оцененные bounding-box'и, без использования ground-truth данных.
Почему это важно
Точная реконструкция кистей и стоп необходима для создания фотореалистичных цифровых двойников, анализа спортивной биомеханики и управления роботами. Снижение ошибки на 19% означает переход от «грубой» анимации к детализированному движению, где видны нюансы жестов и переноса веса. Исследование опубликовано в arXiv (2026) и принято к публикации в конференции 3DV 2026.
Источник: Github ↗