Революция в биомеханике: от OpenPose к RTMPose
Pose2Sim (от OpenPose to OpenSim) — это бесплатный инструмент с открытым исходным кодом, который заменяет традиционные системы захвата движения (MoCap) с маркерами. Проект позволяет получать полные 3D-скелетные модели и углы суставов, используя доступное оборудование: смартфоны, веб-камеры или GoPro. Ключевое преимущество — работа локально, что гарантирует соблюдение GDPR и конфиденциальность данных.
Изначально система опиралась на OpenPose, но сейчас использует более современные модели, такие как RTMPose. Также поддерживаются кастомные модели, включая DeepLabCut, что делает решение гибким для различных сценариев: от спорта до клинической диагностики.
Технические характеристики и требования
Решение предлагает полный пайплайн: от оценки 2D-позы до триангуляции 3D-координат и расчета кинематики в OpenSim. Установка осуществляется через менеджер uv (рекомендуется вместо conda для скорости). Размер установки варьируется от 2 ГБ (минимальная, без GPU) до 14 ГБ (полная версия с поддержкой графики и GPU).
| Параметр | Значение / Поддержка |
|---|---|
| Оборудование | Смартфоны, веб-камеры, GoPro (любые комбинации) |
| Модели поз | RTMPose (default), MMPose, DeepLabCut, OpenPose (legacy), Mediapipe BlazePose (legacy), AlphaPose (legacy) |
| Выходные данные | 3D-траектории маркеров (.trc), углы суставов (.mot), модели OpenSim (.osim) |
| GPU-поддержка | Да (CUDA/cuDNN), требует ~5 ГБ дополнительного места |
| Многопользовательский режим | Да (одновременное отслеживание нескольких людей) |
Визуализация и интеграция
Результаты работы Pose2Sim можно визуализировать двумя основными способами:
- OpenSim GUI: Стандартный интерфейс для анализа биомеханики. Позволяет загружать модели (.osim), движения (.mot) и экспериментальные данные маркеров (.trc).
- Blender Add-on: Специальный плагин Pose2Sim_Blender для продвинутой визуализации. Позволяет накладывать скелет на видео, видеть позиции камер и триангулированные ключевые точки в реальном времени.
Для кого это решение?
Инструмент адаптирован для четырех основных сценариев использования:
- Спортивный анализ: Полевая 3D-кинематика без необходимости лаборатории.
- Клиническая оценка: Анализ походки в условиях кабинета врача.
- Анимация: Захват движения одетых субъектов на улице.
- Научные исследования: Биомеханические исследования с участием нескольких участников.
Для задач реального времени с одной камерой (в сагиттальной или фронтальной плоскости) разработчики рекомендуют альтернативный проект Sports2D.
Источник: Github ↗