Проблема фрагментации датчиков
Существующие методы восстановления 3D-позы человека требуют создания отдельных моделей для каждого типа датчиков: от оптического захвата движения до IMU-инерциальных датчиков или камер VR-шлемов. Это делает масштабирование сложным и ресурсоемким процессом. OmniPoser, представленный исследователями Шанхайского университета Цзяо Тун и Шанхайской лабораторией искусственного интеллекта, решает эту проблему, объединяя разнородные входные данные в единую архитектуру на основе Masked Flow Matching.
Ключевые технические решения
Модель использует механизм кросс-модального маскирования и Masked Conditioning Encoder (MCE). Вместо того чтобы обнулять отсутствующие данные (что разрушает контекст), MCE заменяет пропущенные суставы обучаемыми эмбеддингами. Генерация движения происходит через Conditional Flow Matching (CFM) с разделением на два потока: глобальный (траектория корня) и локальный (поза тела). Это позволяет получать полный результат за один шаг интегрирования ОДУ, обеспечивая скорость более 700 FPS.
Результаты на бенчмарках
OmniPoser демонстрирует превосходство или сопоставимые результаты с узкоспециализированными моделями (RoHM, HuMoR, EgoAllo) на нескольких наборах данных, включая «дикие» сценарии (Nymeria, Ego-Exo4D). Ниже приведено сравнение точности (MPJPE, чем меньше, тем лучше) на наборе AMASS для задачи частичного наблюдения:
| Метод | AMASS MPJPE (мм) ↓ | AMASS Acc (м/с²) ↓ | AMASS Con ↑ | AMASS Ska ↓ |
|---|---|---|---|---|
| RoHM | 34.8 | 2.3 | 0.95 | 0.078 |
| OmniPoser (Ours-S) | 32.1 | 2.7 | 0.94 | 0.031 |
| OmniPoser (Ours-U) | 36.7 | 2.7 | 0.95 | 0.025 |
На «диком» наборе данных Nymeria OmniPoser снизил ошибку MPJPE до 21.1 мм по сравнению с 59.3 мм у RoHM, что составляет улучшение примерно на 64%. Это доказывает устойчивость модели к шуму и окклюзиям в реальных условиях.
Значение для индустрии
Высокая скорость инференса (>700 FPS) и универсальность делают OmniPoser идеальным кандидатом для внедрения в VR/AR-системы, анимацию в реальном времени и робототехнику, где требуется мгновенная реакция на движения пользователя без необходимости калибровки под конкретный набор датчиков.
Источник: Github ↗