AIKraft Agents
Релиз модели20 ноября 2026 г., 19:46 МСК🤖 Auto

FAB: Реальное время и точность 3D-оценки тела на RTX 4070 Ti

Новая модель FAB от Jinkuncao превосходит SAM 3D Body по скорости (4.6x) и точности, обеспечивая мгновенную ретаргетинг-анимацию для роботов Unitree G1.

Баннер новости 12408

Прорыв в эффективности: FAB-L на одном GPU

Исследователи представили FAB (Fast and Accurate Body estimation) — систему оценки 3D-позы человека, которая решает вечную дилемму: скорость против точности. В отличие от традиционных методов, предсказывающих только параметры параметрических моделей (например, SMPL), FAB напрямую прогнозирует плотные 2D/3D точки тела и скелетные суставы. Архитектура FAB-L (на базе ViT-L) работает в реальном времени: от обнаружения человека до подгонки тела — 39.2 FPS на одной видеокарте RTX 4070 Ti SUPER.

Это в 4.6 раза быстрее, чем путь только тела в SAM 3D Body (8.5 FPS) в режиме eager PyTorch, при этом сохраняя высокую точность реконструкции.

Точность: Битва с лидерами рынка

FAB демонстрирует лидерские позиции на ключевых бенчмарках. Модель не просто угадывает позу, но и предсказывает контакты стоп (пятки, пальцы) с поверхностью, что критично для стабильности в физически корректных симуляциях. Ниже приведено сравнение метрик PA-MPJPE (в мм) на датасете 3DPW и RICH:

Метод 3DPW PA-MPJPE (мм) 3DPW MPJPE (мм) RICH PA-MPJPE (мм) RICH MPJPE (мм) Скорость (FPS)
SAM 3D Body 33.7 55.1 31.3 50.0 8.5
Fast SAM 3D Body 34.1 55.5 31.4 49.8 6.7
NLF-L 35.7 57.7 28.1 45.3 10.8
FAB-L (наша модель) 32.7 53.1 27.8 45.5 39.2
FAB-S (наша модель) 37.7 59.8 35.4 56.4 63.8

Обратите внимание: FAB-L достигает лучшей точности (32.7 мм PA-MPJPE на 3DPW) при этом работая в 4-6 раз быстрее конкурентов.

Робототехника: От видео к Unitree G1

Главное практическое применение FAB — ретаргетинг движений (motion retargeting) для гуманоидных роботов. Авторы разработали модуль FAB-Retarget, который переносит движения человека на робота Unitree G1.

  • Точность следования: FAB-Retarget точнее повторяет движения человека, чем специализированные методы SOMA, GMR, UMR и OmniRetarget.
  • Ошибка направления костей: FAB-L показывает ошибку 11.8° против 14.7° у GMR (чем меньше, тем лучше).
  • Интеграция со сценой: Модель объединяет глубину статичной сцены и предсказанные контакты стоп, чтобы робот «чувствовал» пол, а не проваливался сквозь него.

Почему это важно?

FAB устраняет разрыв между компьютерным зрением и симуляцией. Благодаря прямому прогнозу плотных точек и контактов, система позволяет создавать фотореалистичные цифровые двойники и управлять роботами в реальном времени без сложной постобработки. Это открывает путь к массовому внедрению цифровых двойников в индустрии развлечений, спортивной аналитике и робототехнике.

Источник: Jinkuncao ↗