Революция в аннотации: от сырых данных к «Grounded World»
Holi-World — это не просто датасет, а полный пайплайн (Foundry), который автоматически извлекает геометрию, семантику и вопросы-ответы (QA) из эгоцентрических записей. Система обрабатывает данные с камер Stereo RGB + IMU, используя VI-SLAM, DA3 для глубины и 3DGS для реконструкции сцены. Ключевое отличие: отсутствие ручных лейблов. Пайплайн разделяет объекты на статичные (постоянные 3D-объекты) и динамичные (4D-треки движения), создавая единую координатную систему.
Масштаб данных: 1.32M кадров и 80K QA
Датасет Holi-World-Data собран в ~100 сценариях (офисы, комнаты) и включает 444 эго-видео. Это позволило сгенерировать уникальные обучающие выборки:
- 1.32 млн RGB-D кадров;
- ~90K 2D-боксов и 2,466 статичных 3D-боксов;
- 2,095 динамичных 4D-треков;
- ~80K вопросов и ответов (QA), связанных с пространственными отношениями, временным reasoning и траекториями.
Результаты: 4.6× лучше базовых методов в 3D
Метод Holi-World показал выдающиеся результаты на бенчмарках ScanNet и ScanNet++. В частности, на ScanNet метрика AP50 составила 0.55, что в 4.6 раза превышает лучший базовый метод (Map-Det3D с AP50 0.12). Примечательно, что пайплайн Foundry не использует ground-truth данные на этапе тестирования, в отличие от многих baseline-методов.
| Метод | ScanNet AP50 | ScanNet++ AP50 | Holi-Bench AP50 |
|---|---|---|---|
| Map-Det3D | 0.12 | 0.05 | 0.01 |
| Boxer | 0.09 | 0.05 | 0.07 |
| Holi-World (Ours) | 0.55 | 0.13 | 0.12 |
Динамическое отслеживание: HOTA 54.31%
В задаче динамического трекинга (ADT20 и Holi-Bench) Holi-World также доминирует. На датасете ADT20 метрика HOTA достигла 54.31%, что на +18.31 пункта выше следующего лучшего метода (IT3DEgo с 36.00%). Это критически важно для роботов, которым нужно понимать перемещение объектов в реальном времени.
VL-4B бьет 27B: эффективность малых моделей
На основе полученных данных обучена мультимодальная модель Holi-World-VL-4B (на базе Qwen3.5-4B). Она демонстрирует феноменальную эффективность: на бенчмарке Holi-World-Bench модель с 4 миллиардами параметров превзошла zero-shot Qwen-27B (Qwen3.8-27B) по всем метрикам reasoning.
| Модель | Bench Token F1 | Bench Y/N Accuracy | EgoDynamic4D F1 |
|---|---|---|---|
| Qwen3.8-27B (Zero-shot) | 43.67 | 82.85 | 42.93 |
| Holi-World-VL-4B | 78.02 | 93.52 | 66.39 |
Этот результат доказывает, что качественная, «заземленная» (grounded) аннотация 3D/4D данных важнее просто размера модели. Holi-World открывает путь к созданию «World Intelligence» — систем, способных понимать физический мир так же, как человек, на основе собственного опыта.
Источник: Github ↗