Проблема монокулярного зрения
Оценка 9D-позы (3D-перемещение, 3D-вращение, 3D-размер) по одному RGB-изображению остается одной из самых сложных задач компьютерного зрения. Главная трудность заключается в том, что нейросеть должна обобщать знания на основе невидимых ранее экземпляров объектов, одновременно извлекая как общие структурные признаки категории, так и индивидуальные вариации. В отличие от оценки позы на уровне экземпляров (instance-level), где геометрия фиксирована, в категориальном подходе (category-level) признаки позы, общие черты категории и специфика конкретного объекта переплетаются в текстуре, что делает невозможным использование прямых геометрических ограничений.
Решение: Параметрическая схема (Parametric Schema)
Авторы из Шанхайского университета Цзяо Тун (SJTU) предлагают Framework SchemaPose, который вводит явную параметрическую схему для моделирования регулярностей категории. Эта схема состоит из:
- Дискретных выборов частей (discrete part choices) — определение семантической структуры объекта.
- Непрерывных геометрических параметров (continuous geometric parameters) — точные размеры и формы частей.
Метод использует сжатую репрезентацию этой схемы, которая сохраняет доминирующие факторы, важные для позы, и подает их как структурное руководство в end-to-end архитектуру на основе трансформеров (query-based framework). Это позволяет сети не просто «угадывать» позу, а опираться на логическую структуру объекта.
Результаты: Лидерство на бенчмарках
SchemaPose демонстрирует state-of-the-art результаты на синтетических (CAMERA25) и реальных (REAL275) датасетах, значительно превосходя предыдущие методы, такие как YOPO, DMSR и MonoDiff9D. Особенно впечатляющий прирост наблюдается в метрике точности 10cm/10° (IoU 75) на реальных данных.
| Метод | CAMERA25 IoU 50 |
CAMERA25 IoU 75 |
CAMERA25 10cm 10° |
REAL275 IoU 50 |
REAL275 IoU 75 |
REAL275 10cm 10° |
|---|---|---|---|---|---|---|
| YOPO | 46.6 | 11.8 | 43.1 | 71.6 | 69.6 | 52.8 |
| SchemaPose (Ours) | 52.4 | 13.0 | 47.9 | 86.3 | 24.6 | 68.4 |
| YOPO (для сравнения) | 46.6 | 11.8 | 43.1 | 71.6 | 69.6 | 52.8 |
| SchemaPose (Ours) | 52.4 | 13.0 | 47.9 | 86.3 | 24.6 | 68.4 |
Примечание: В таблице приведены ключевые метрики. SchemaPose показывает абсолютный рост точности на 10cm/10° с 52.8% до 68.4% на датасете REAL275 по сравнению с лучшим предыдущим методом YOPO.
Значение для индустрии
Работа опубликована в NeurIPS 2026. Успех SchemaPose важен для робототехники и дополненной реальности, где требуется высокая точность позиционирования объектов в реальном времени без использования глубинных камер (RGB-D). Метод также поддерживает генерацию синтетических аннотаций и инстанцирование шаблонов в едином фреймворке, что упрощает пайплайн обучения моделей для промышленных задач.
Источник: Github ↗