Проблема существующих датасетов
Современные модели мира (World Models) должны обучаться на совместной динамике состояний, действий, событий и наблюдений. Однако большинство существующих наборов данных для видео, робототехники и симуляций фиксируют лишь часть этой структуры. Это ограничивает способность моделей к причинно-следственному выводу и интервенционному обучению.
Что такое CG-World
Команда авторов во главе с Иминем Цаем (Yiming Cai) представила CG-World v1 — датасет, извлеченный из промышленных конвейеров компьютерной графики. Ключевое отличие — явная запись промежуточных состояний, недоступных в обычных видеофайлах. Датасет включает:
- Мультимодальную семантику и пространственную структуру;
- Скелетные состояния и параметры контроллеров;
- Кривые движения, параметры камеры и освещения;
- Кэши физики, события контакта и многопроходные рендеры.
Масштаб и структура
Первая версия датасета содержит около 850 000 временных сегментов длительностью от 1 до 5 секунд. Данные организованы в единые пространственно-временные выборки, где латентные состояния, наблюдения, отношения и события строго выровнены. Особое внимание уделено поддержке контрфактического рассуждения: датасет определяет lineage (линию происхождения) ветвей, фиксируя фактические траектории, интервенции в наблюдения/действия и альтернативные исходы.
Результаты оценки
Авторы протестировали использование CG-World в трех ключевых задачах: генерация видео с геометрической условностью, предсказание действий и передача политик «зрение-язык-действие» (VLA) в замкнутом цикле. Результаты показали, что структурированный надзор из CG-World обеспечивает переиспользуемую базу для контролируемой генерации и моделирования действий.
| Характеристика | Значение / Описание |
|---|---|
| Название датасета | CG-World v1 |
| Объем данных | ~850 000 сегментов |
| Длительность сегмента | 1–5 секунд |
| Источник данных | Промышленные графические пайплайны (CG) |
| Ключевые метаданные | Физика, скелеты, камеры, свет, действия, события |
| Поддерживаемые задачи | Генерация видео, предсказание действий, VLA-политики |
Значение для индустрии
CG-World закладывает основу для общей инфраструктуры данных для World Models, Physical AI и воплощенного интеллекта (embodied intelligence). Наличие полных метаданных позволяет обучать модели не просто «видеть» движение, но понимать его физические и причинные основы, что критически важно для создания надежных автономных систем.
Источник: arXiv cs.AI ↗