Проблема «грязных» данных в MoCap
Классические системы оптического захвата движения требуют идеальных условий: четкой маркировки маркеров, отсутствия перекрытий и стабильной трассировки. Однако в реальных сценариях, особенно при съемке динамичных боевых искусств или в сложных условиях, маркеры часто теряются, перепутываются или остаются без меток. DirtyMoCap решает эту проблему, позволяя работать с сырыми данными, где отсутствует кадровая согласованность идентификаторов маркеров.
Технические особенности и архитектура
Метод использует SMPL-H (Skinned Multi-Person Linear model with Hands) как целевую модель для восстановления позы, кистей рук, глобального перемещения и телосложения. Ключевые инновации включают:
- Любая раскладка маркеров: Модель не привязана к заранее заданному набору точек, что делает её универсальной для разных конфигураций датчиков.
- Обученная уверенность (Learned Confidence): Солвер самостоятельно оценивает достоверность каждой точки, отсеивая выбросы и шум без ручной фильтрации.
- Фиксированные якоря: Использование суставов и точек поверхности тела как стабильного промежуточного слоя для улучшения геометрической согласованности.
Производительность и бенчмарки
Одним из главных преимуществ DirtyMoCap является вычислительная эффективность. Благодаря оптимизации через CUDA, метод работает до 100 раз быстрее стандартных солверов на базе PyTorch. Это позволяет обрабатывать длинные последовательности в реальном времени или Near-Real-Time.
| Характеристика | DirtyMoCap | Стандартный подход (PyTorch) |
|---|---|---|
| Скорость обработки | До 100× быстрее | Базовый уровень |
| Требование к разметке | Отсутствует (немаркированные маркеры) | Требуется строгая маркировка |
| Устойчивость к шуму | Высокая (Learned Confidence) | Низкая (требует предфильтрации) |
| Модель тела | SMPL-H (поза, кисти, глоб. перемещение) | Зависит от реализации |
Валидация на реальном датасете
Для проверки метода была собрана новая база данных по китайским боевым искусствам. Датасет включает 134 записи, суммарной длительностью около 180 минут, охватывающих 22 стиля кунг-фу. Данные были получены с оптических систем захвата движения в «грязных» условиях (без предварительной разметки маркеров). Результаты показали, что метод способен стабильно восстанавливать анимацию даже при сильном перепутывании маркеров.
Сравнение с MoSh++
Авторы отмечают, что метод MoSh++ демонстрирует чуть более высокую точность реконструкции поверхности тела. Однако это достигается исключительно за счет использования размеченных маркеров. DirtyMoCap жертвует незначительной долей точности поверхности ради возможности работы с немаркированными данными, что делает его более практичным инструментом для реальных сценариев съемки.
Работа будет представлена на конференции SIGGRAPH Asia 2026. Код и данные на данный момент закрыты, но ожидается их публичная публикация.
Источник: Github ↗