Расширение экосистемы Cosmos: от данных до деплоя
NVIDIA существенно расширила платформу Cosmos, предназначенную для создания World Models (моделей мира), которые позволяют физическому ИИ (Physical AI) понимать и симулировать реальность. Обновление включает новые инструменты обучения, симуляционные чекпоинты и «синиеprints» (шаблоны) для фабрики данных. Платформа уже занимает топ-5 в шести открытых рейтингах моделей, предоставляя разработчикам доступ к передовым open-source решениям.
Cosmos Data Factory: Синтетические данные для реальных задач
Ключевым элементом обновления стала Cosmos Data Factory, которая теперь предлагает пять облачных шаблонов (blueprints) для генерации и курирования мультимодальных данных. Эти инструменты используют агентные навыки для автоматизации разметки и аугментации данных. Примеры применения:
- Porsche (Volkswagen Group): Использование шаблона через Voxel51 на Microsoft Azure позволило сократить количество физических тестовых заездов на 90% и ускорить цикл разработки на 85%.
- ANYbotics: Сгенерировано более 1 500 синтетических видеоклипов для обучения роботов распознаванию разливов жидкостей, валидация проведена через платформу Encord.
- Ultralytics: Переобучение модели YOLO на реальных изображениях и синтетических дефектах улучшило локализацию дефектов и показатель recall.
Cosmos 3 и Framework: Оптимизация и адаптация
В рамках GTC Berlin NVIDIA представила Cosmos 3 и расширила возможности Cosmos Framework. Разработчики теперь могут адаптировать открытые модели (GR00T, Alpamayo, QWEN, Pi0.5 и другие с Hugging Face) с помощью тонкой настройки (fine-tuning) и обучения с подкреплением. Особое внимание уделено дистилляции и квантованию.
Лаборатория MicroAGI успешно провела пост-обучение Cosmos 3 на видео манипуляций человека, дистиллировав модель с 32 миллиардов параметров до 8 миллиардов (Nano) без потери точности. Это позволяет развертывать эффективные модели для фабрик и складов.
Производительность и метрики
Обновленные микросервисы NVIDIA Cosmos 3 NIM обеспечивают ускорение инференса до 2x без потери качества. Для разработчиков Computer Vision представлен NVIDIA Metropolis Blueprint for Video Search and Summarization (VSS) 3.3, который позволяет мониторить на 40% больше видеопотоков с использованием того же объема GPU.
Практический кейс: ADNOC и Fogsphere
Нефтяная компания ADNOC совместно с Fogsphere использует платформу MistIQ на базе Cosmos для обнаружения опасностей в реальном времени на 65 объектах. Для редких событий, требующих обучения модели, применяется Cosmos Data Factory для генерации синтетических данных, что исключает необходимость постановки опасных ситуаций в реальности.
| Компания / Проект | Используемые инструменты Cosmos | Результат / Метрика |
|---|---|---|
| Porsche / VW Group | Cosmos Data Factory (через Voxel51, Azure) | Сокращение тестовых заездов на 90%, ускорение разработки на 85% |
| ANYbotics | Cosmos Data Factory + Encord | 1 500+ синтетических клипов для обучения роботов инспекции |
| MicroAGI | Cosmos 3 Framework (дистилляция) | Сжатие модели с 32B до 8B параметров без потери точности |
| ADNOC / Fogsphere | Cosmos NIM + Metropolis VSS Blueprint | Мониторинг 65 площадок в реальном времени, генерация данных для редких событий |
| Ultralytics | Cosmos Data Factory (синтетические дефекты) | Улучшение recall и локализации дефектов в YOLO |
Источник: NVIDIA Blog ↗