Новая архитектура Cosmos Framework
NVIDIA представила Cosmos Framework — открытую модульную платформу для разработки «мировых моделей» (world foundation models) в области Physical AI. Платформа закрывает два ключевых вызова: адаптацию моделей к специфическим сенсорам и надежное развертывание в приложениях. Cosmos 3 поддерживает интеграцию с моделями NVIDIA Alpamayo, GR00T, Qwen и pi0.5, а также совместим с экосистемой Hugging Face.
Ключевые возможности фреймворка включают:
- Обучение: Поддержка LoRA для эффективной адаптации параметров и полного контролируемого дообучения (SFT). Работа с данными форматов JSONL, WebDataset, LeRobot.
- Обучение с подкреплением (RL): Реализованы пайплайны DPO (offline preference optimization), GRPO (online RL с vLLM rollouts), PPO (actor-critic) и DiffusionNFT для диффузионных моделей.
- Оптимизация: Дистилляция моделей, квантование для снижения потребления памяти GPU и поддержка инференса через vLLM, TRT-LLM и NVIDIA NIM.
Симуляция для беспилотных автомобилей и робототехники
Особое внимание уделено генерации синтетических данных. Новые рецепты Cosmos 3 Nano позволяют создавать синхронизированные видеопотоки камер и данные LiDAR. Это критически важно для обучения перцептивных систем автономного вождения (AV) и хирургических роботов.
Платформа поддерживает два основных чекпоинта для AV-симуляции:
- Cosmos3-Nano-Transfer-Auto: Использует двунаправленную генерацию для создания мультикамерных клипов (до 400 кадров при 30 fps). Позволяет менять погодные условия (день/дождь/ночь) при сохранении геометрии дороги.
- Cosmos3-Nano-Sim-Auto: Каузальная, дистиллированная версия для потоковой авторегрессионной генерации в реальном времени.
Технические характеристики и требования к GPU
Для развертывания моделей требуется учет аппаратных ограничений. NVIDIA предоставляет микросервисы Cosmos NIM с ускоренным инференсом, используя квантование, спекулятивное декодирование и маршрутизацию с учетом KV-cache. Это обеспечивает ускорение в 2–3 раза на GPU NVIDIA H200.
| Параметр | Значение / Характеристика |
|---|---|
| Поддерживаемые GPU | NVIDIA Hopper (H100/H200) и Blackwell |
| Память (Cosmos3-Nano, BF16) | 58 GiB |
| Память (Cosmos3-Nano, FP8 + offloading) | 44 GiB |
| Разрешение генерации (Transfer-Auto) | До 720p (480p или 720p), до 400 кадров |
| Скорость инференса (H200) | Ускорение ~2–3x благодаря NIM |
| Форматы данных | RGB видео, LiDAR (rangemap), HD-map, WSM (World Scenario Map) |
Практическое применение и запуск
Разработчики могут использовать готовые примеры из репозитория. Например, для запуска симуляции автономного вождения на 4 GPU используется команда torchrun с указанием пути к чекпоинту и параметрам разрешения. Результатом работы является генерация 7 синхронизированных видео 720p (297 кадров) и 99 сканов LiDAR, которые можно верифицировать на соответствие WSM (World Scenario Map).
Платформа позволяет адаптировать модели под кастомные сенсоры и пространства действий, что делает Cosmos 3 универсальным инструментом для создания цифровых двойников физических систем.
Источник: NVIDIA dev blog ↗