Что такое SysMocap и зачем это нужно
SysMocap — это open-source решение на базе Electron и Vue.js, которое превращает обычную веб-камеру в инструмент для полного захвата движений (full-body motion capture). В отличие от многих аналогов, требующих дорогих датчиков или мощных серверов, система работает локально, используя модели Google MediaPipe Holistic для анализа видео и библиотеку Kalidokit для вычисления данных анимации.
Ключевая особенность проекта — универсальность. Он поддерживает Windows (x64 и ARM64), macOS (Intel и Apple Silicon) и Linux (через сборку из исходников). Интерфейс выполнен в стиле Material Design 3 с поддержкой темной темы, а перетаскивание моделей (drag-and-drop) делает процесс настройки интуитивным даже для новичков.
Технические возможности и интеграции
Система не просто захватывает движения, но и предоставляет инструменты для их использования в реальных сценариях: от стриминга до AR/VR. Разработчики внедрили поддержку WebXR API для передачи данных мокапа в браузерные приложения (требуется HTTPS), а также прямую интеграцию с OBS Studio для стримеров.
Особое внимание уделено совместимости с аватарами. SysMocap автоматически определяет скелет для файлов форматов VRM (версии 0.x и 1.0) и FBX (Mixamo). Если структура скелета нестандартная, предусмотрена функция ручного маппинга костей.
Требования к скелету модели
Для корректной работы автоматического распознавания скелета в файле glTF/glb/FBX должны присутствовать узлы с определенными именами. Ниже приведена таблица обязательных костей:
| Тип кости | Имя узла (Node Name) | Требования к трансформации |
|---|---|---|
| Основной узел | Hips | Позиция + Вращение |
| Шея | Neck | Вращение |
| Грудь | Chest | Вращение |
| Позвоночник | Spine | Вращение |
| Правая рука (плечо/предплечье) | RightUpperArm / RightLowerArm | Вращение |
| Левая рука (плечо/предплечье) | LeftUpperArm / LeftLowerArm | Вращение |
| Правая нога (бедро/голень) | RightUpperLeg / RightLowerLeg | Вращение |
| Левая нога (бедро/голень) | LeftUpperLeg / LeftLowerLeg | Вращение |
Для кого этот инструмент
SysMocap закрывает потребность VTuber-сообщества, разработчиков AR/VR-приложений и создателей контента в доступном решении для генерации экспрессивной анимации аватаров. Поддержка создания аватаров через VRoid Studio и работа с VRM 1.0 делают его актуальным для современных пайплайнов виртуальных блогеров. Исходный код проекта доступен на GitHub, что позволяет разработчикам дорабатывать функционал под свои нужды, включая добавление новых языков интерфейса.
Источник: Github ↗