Прорыв в эффективности: FAB-L на одном GPU
Исследователи представили FAB (Fast and Accurate Body estimation) — систему оценки 3D-позы человека, которая решает вечную дилемму: скорость против точности. В отличие от традиционных методов, предсказывающих только параметры параметрических моделей (например, SMPL), FAB напрямую прогнозирует плотные 2D/3D точки тела и скелетные суставы. Архитектура FAB-L (на базе ViT-L) работает в реальном времени: от обнаружения человека до подгонки тела — 39.2 FPS на одной видеокарте RTX 4070 Ti SUPER.
Это в 4.6 раза быстрее, чем путь только тела в SAM 3D Body (8.5 FPS) в режиме eager PyTorch, при этом сохраняя высокую точность реконструкции.
Точность: Битва с лидерами рынка
FAB демонстрирует лидерские позиции на ключевых бенчмарках. Модель не просто угадывает позу, но и предсказывает контакты стоп (пятки, пальцы) с поверхностью, что критично для стабильности в физически корректных симуляциях. Ниже приведено сравнение метрик PA-MPJPE (в мм) на датасете 3DPW и RICH:
| Метод | 3DPW PA-MPJPE (мм) | 3DPW MPJPE (мм) | RICH PA-MPJPE (мм) | RICH MPJPE (мм) | Скорость (FPS) |
|---|---|---|---|---|---|
| SAM 3D Body | 33.7 | 55.1 | 31.3 | 50.0 | 8.5 |
| Fast SAM 3D Body | 34.1 | 55.5 | 31.4 | 49.8 | 6.7 |
| NLF-L | 35.7 | 57.7 | 28.1 | 45.3 | 10.8 |
| FAB-L (наша модель) | 32.7 | 53.1 | 27.8 | 45.5 | 39.2 |
| FAB-S (наша модель) | 37.7 | 59.8 | 35.4 | 56.4 | 63.8 |
Обратите внимание: FAB-L достигает лучшей точности (32.7 мм PA-MPJPE на 3DPW) при этом работая в 4-6 раз быстрее конкурентов.
Робототехника: От видео к Unitree G1
Главное практическое применение FAB — ретаргетинг движений (motion retargeting) для гуманоидных роботов. Авторы разработали модуль FAB-Retarget, который переносит движения человека на робота Unitree G1.
- Точность следования: FAB-Retarget точнее повторяет движения человека, чем специализированные методы SOMA, GMR, UMR и OmniRetarget.
- Ошибка направления костей: FAB-L показывает ошибку 11.8° против 14.7° у GMR (чем меньше, тем лучше).
- Интеграция со сценой: Модель объединяет глубину статичной сцены и предсказанные контакты стоп, чтобы робот «чувствовал» пол, а не проваливался сквозь него.
Почему это важно?
FAB устраняет разрыв между компьютерным зрением и симуляцией. Благодаря прямому прогнозу плотных точек и контактов, система позволяет создавать фотореалистичные цифровые двойники и управлять роботами в реальном времени без сложной постобработки. Это открывает путь к массовому внедрению цифровых двойников в индустрии развлечений, спортивной аналитике и робототехнике.
Источник: Jinkuncao ↗
