Локальный AI-захват движения для Windows
Проект RGB MoCap от разработчика toyxyz представляет собой полноценное приложение для Windows, которое превращает обычные видео в редактируемую 3D-анимацию человека. Ключевое преимущество — обработка нейросетей происходит локально на ПК, что обеспечивает приватность данных и независимость от облачных сервисов. Приложение поддерживает как однократную реконструкцию, так и многокамерный захват (Multi Cam MoCap).
Поддерживаемые AI-модели и их возможности
В основе работы лежат пять основных моделей, каждая из которых имеет свои особенности в представлении тела и отслеживании пальцев. Ниже приведено сравнение ключевых характеристик:
| Модель | Представление тела | Пальцы | Особенности |
|---|---|---|---|
| ExMR | SMPL-X | Включены | Высокое качество движения, базовая модель |
| FlowHMR | SMPL-H | Включены | Оптимизация памяти, sparse hand sampling |
| MAMMA | SMPL-X | Включены | Многокамерный захват, требует C++/CUDA сборки |
| PromptHMR | SMPL-X | Не отслеживаются | Улучшает взаимодействие между людьми в кадре |
| PEAR | SMPL-X / FLAME | Включены | Экспериментальный live-preview через веб-камеру |
Требования к железу и дисковое пространство
Для работы приложения требуется 64-битная Windows, совместимая видеокарта NVIDIA и OpenGL 4.3. Общий объем занимаемого места на дисе для установки всех пяти офлайн-моделей, дополнений, Blender и FFmpeg составляет около 67.9 ГБ. При этом базовый набор (ExMR + FlowHMR + GVHMR) занимает 28.89 ГБ, а добавление MAMMA и PromptHMR существенно увеличивает этот объем.
Экспорт и интеграция с 3D-редакторами
Полученную анимацию можно экспортировать в популярных форматах: FBX (для Mixamo, Blender, 3ds Max), BVH и VMD (для MMD). Поддерживается ретаргетинг (перенос движения) на персонажей в форматах VRM и PMX. Также доступна функция экспорта портативных проектов Blender, включающих исходную анимацию, видео и сохраненные камеры.
Установка и запуск
Установка осуществляется через Git-репозиторий. После клонирования проекта необходимо запустить скрипт install.cmd для подготовки рантаймов ExMR, FlowHMR и GVHMR. Для моделей MAMMA и PromptHMR требуется отдельная установка компиляторов Visual Studio 2022 C++ Build Tools и CUDA Toolkit 12.8, а также ручная загрузка весов моделей через встроенный Model Manager. Запуск приложения выполняется командой RGBMoCap.cmd.
Источник: Github ↗