Прорыв в самообучении 3D-представлений
Самообучение (self-supervised learning) уже революционизировало компьютерное зрение для 2D-изображений, но создание универсальных моделей для 3D-сцен оставалось сложной задачей. Команда исследователей во главе с Адрианом Крусе представила VINO (Vision INput for 3D Objects) — фреймворк, который учит семантические представления 3D-сцен без использования ручных меток. Главное отличие VINO от предшественников (таких как Sonata) — замена иерархического бэкбонда PTv3 на Volume Transformer (Volt), архитектуру, адаптированную для работы с 3D-точками по аналогии с ViT.
Архитектурные инновации: Разделение ролей и маскирование
VINO переосмысливает классические подходы student-teacher сетей. В отличие от традиционных методов, где учитель и студент часто работают с похожими данными, VINO вводит строгое разделение:
- Учитель (Teacher): Кодирует «чистые» глобальные виды сцены. Он не просто передает данные, а мягко присваивает токены обученным прототипам, создавая сбалансированные и стабильные целевые значения.
- Студент (Student): Обучается на сильно аугментированных локальных видах и, что критически важно, на замаскированных глобальных видах. Студент не видит замаскированную геометрию напрямую; он должен вывести недостающие представления, опираясь только на видимый контекст через механизм cross-attention.
Дополнительно, дистилляция знаний из 2D-фундаментальных моделей (VFM) происходит не через прямую регрессию, а через обучение прототипам, согласованным между 2D и 3D видами, что повышает обобщающую способность модели.
Результаты: VINO против Sonata и других SOTA
Модель VINO (Volt-B, 85.7 млн параметров) демонстрирует значительное улучшение метрик mIoU (mean Intersection over Union) как на внутренних (indoor), так и на внешних (outdoor) бенчмарках по сравнению с Sonata (PTv3-B, 108.4 млн параметров) и другими методами самообучения. Ниже приведено сравнение результатов предобучения с 2D-супервизией (наиболее релевантный сценарий для современных задач):
| Метод | Бэкбонд | ScanNet200 (Indoor) | ScanNet (Indoor) | ScanNet++ (Indoor) | nuScenes (Outdoor) | Sem.KITTI (Outdoor) | Waymo (Outdoor) |
|---|---|---|---|---|---|---|---|
| Supervised (Volt-B) | Volt-B (94.3M) | 36.2 | 77.7 | 51.7 | 81.3 | 70.6 | 71.5 |
| Concerto | PTv3-B (108.4M) | 37.4 | 77.3 | 45.6 | 74.2 | 66.6 | 62.2 |
| Utonia | PTv3-B (137.3M) | 36.4 | 77.7 | 44.7 | 75.5 | 67.7 | 63.8 |
| VINO (Ours) | Volt-B (85.7M) | 40.4 | 77.9 | 48.2 | 80.6 | 71.1 | 70.6 |
Как видно из таблицы, VINO достигает лучших результатов на большинстве датасетов, используя при этом меньше параметров (85.7M против 108.4M у Sonata/Concerto), что делает её более эффективной. Особенно заметен скачок на датасете ScanNet200 (+3.0% mIoU относительно Sonata) и Waymo (+6.8% mIoU относительно Concerto).
Почему это важно?
VINO закрывает разрыв между 2D и 3D представлением, показывая, что правильная архитектура (Volume Transformer) и стратегия маскирования могут превзойти более крупные модели на старых архитектурах. Это открывает путь к созданию более дешевых и быстрых 3D-ассистентов для робототехники, автономного вождения и цифровых двойников, которым не требуются миллионы размеченных 3D-точек для обучения.
Бенчмарки
| Бенчмарк | VINO | DOS | PointINS | Sonata |
|---|---|---|---|---|
| ScanNet200 | 40.4% | 30.7% | 29.6% | 29.3% |
| ScanNet | 77.9% | 73.9% | 72.4% | 72.5% |
| ScanNet++ | 48.2% | — | — | 38.9% |
| nuScenes | 80.6% | 68.3% | 68% | 66.1% |
| Sem.KITTI | 71.1% | — | — | 62% |
| Waymo | 70.6% | 67% | — | 60.5% |
Жирным — лучший результат в строке. Источник цифр — официальная публикация.
Источник: Github ↗