Прорыв в физически достоверном захвате движений
Команда разработчиков представила FlowHMR — новую архитектуру для извлечения 3D-движений человека из обычного видео. В отличие от традиционных методов, часто игнорирующих законы физики, FlowHMR гарантирует, что сгенерированные движения не только визуально точны, но и физически реалистичны. Это достигается за счет комбинации flow matching и physics-based GRPO (Generalized Reward Policy Optimization).
Техническая суть и архитектура
Ключевая инновация заключается в интеграции диффузионных процессов (flow matching) с оптимизацией, учитывающей физические ограничения. Модель обрабатывает входное монокулярное видео и генерирует траекторию движения, которая затем верифицируется в симуляторе. Архитектура позволяет избежать артефактов, характерных для нейросетевых предсказаний, таких как проваливание ног в пол или неестественные деформации тела.
Применение в робототехнике и анимации
Практическая ценность FlowHMR подтверждена на нескольких кейсах:
- Робототехника: Движения, сгенерированные FlowHMR, ретаргетируются на робота Unitree G1 с использованием алгоритма GMR, а затем отслеживаются в физической симуляции через SONIC. Это открывает путь к быстрой генерации навыков для роботов на основе видео.
- Анимация: Интеграция с GPT-6 Astra позволяет создавать сцены и выравнивать движения, автоматизируя процесс оцифровки.
- Text-to-Motion: Система способна генерировать видео по текстовому запросу (с помощью MiniMax H3), а затем извлекать из него 3D-движение, создавая полный пайплайн от текста к физической анимации.
Качественные результаты
Визуальные сравнения демонстрируют преимущество FlowHMR в сложных динамических сценариях, таких как отжимания или удары по мячу в футболе. Генерируемая модель сохраняет баланс и кинематику, что критически важно для последующего использования в симуляциях.
| Компонент | Роль в системе | Используемые технологии/Инструменты |
|---|---|---|
| Ядро модели | Генерация 3D-движения | Flow Matching, Physics-based GRPO |
| Входные данные | Монокулярное видео | Single-view video input |
| Ретаргетинг (Роботы) | Перенос движения на робота | Unitree G1, GMR, SONIC |
| Генерация контента | Создание сцен и видео | GPT-6 Astra, MiniMax H3 |
Доступность и публикация
Работа опубликована в arXiv (eprint: 2610.03691) под авторством Zhanke Wang, Chengfeng Zhao и соавторов. Полный код, модели и демо-версии доступны на официальном сайте проекта. Исследователи подчеркивают, что метод обеспечивает «физически правдоподобный захват движений» (physically plausible motion capture), что делает его готовым к внедрению в индустрии компьютерного зрения и робототехники.
Источник: Github ↗