Суть проекта: от веб-камеры к SMPL-X в реальном времени
Команда Corridor Tech, известная своим участием в создании Corridor Digital, представила PoseCap — бесплатный инструмент с открытым исходным кодом для маркерлесс-захвата движений (markerless motion capture). Главная особенность решения — потоковая передача полнотелых поз SMPL-X прямо в Blender в реальном времени. Это позволяет аниматорам использовать обычную веб-камеру для создания качественной анимации тела без необходимости покупать дорогие костюмы или внешнее ПО.
Техническая архитектура и требования
Система построена на двух процессах, соединенных локальным сокетом. «Движок» (Engine Bridge) работает как отдельный процесс на GPU, используя модель PEAR (Pose Estimation and Action Recognition) от IDEA для оценки позы по одному изображению. Blender-расширение потребляет этот поток на фоновом потоке, применяя позы с частотой до 30 FPS, не стирая существующие ключевые кадры.
Важно отметить жесткие аппаратные требования: проект требует GPU от NVIDIA (серии RTX 30/40/50) и CUDA. Поддержка CPU или старых карт RTX 20-й серии отсутствует. На данный момент поддерживается только Windows 10/11.
Совместимость и лицензирование
Хотя сам плагин PoseCap распространяется бесплатно (GPL-3.0 для расширения Blender, Apache-2.0 для библиотек), использование базовых моделей тела (SMPL, SMPL-X, FLAME) регулируется лицензией Max Planck Institute. Они не поставляются с установщиком — пользователь должен самостоятельно зарегистрироваться на сайте MPI и скачать модели. Для коммерческого использования этих моделей требуется отдельная лицензия от Meshcapade.
| Компонент | Поддерживаемые версии/Требования |
|---|---|
| Операционная система | Windows 10 / 11 (Linux в roadmap, macOS не планируется) |
| Графический процессор | NVIDIA RTX 30/40/50 series (требуется CUDA). RTX 20 и старше не поддерживаются. |
| Blender | Версия 4.2 LTS (минимум), поддержка 5.x |
| Python | 3.11 (встроен в Blender для расширения, uv-managed venv для движка) |
| Камера | Любая веб-камера, включая виртуальные (например, Iriun) |
Ограничения и дорожная карта
На текущем этапе (Early development) система фиксирует положение таза (pelvis-locked). Это связано с тем, что односторонняя оценка глубины не может точно определить мировые координаты перемещения. Для восстановления позиции в мире планируется внедрение трекинга камеры. В ближайших планах (Next) — поддержка Fast SAM 3D Body, импорт анимаций AMASS, экспорт в FBX/Alembic и запуск движка на Linux.
Почему это важно
PoseCap демократизирует доступ к качественному захвату движений. Для независимых аниматоров и небольших студий, использующих Blender, это означает возможность создавать реалистичную анимацию тела за 20 минут настройки (по заявлению разработчиков) без сложных процедур калибровки. Интеграция с Mixamo и Unreal Engine через конвертацию в один клик делает инструмент готовым к использованию в современных пайплайнах производства.
Источник: Github ↗