Разработка систем физического искусственного интеллекта (Physical AI) сегодня стоит перед двумя фундаментальными вызовами. Первый — это адаптация моделей к специфическим датчикам, задачам и данным конкретного приложения. Второй, не менее критичный, — это надежная интеграция этих моделей в реальные приложения, где требуется стабильность и скорость. NVIDIA Cosmos предлагает комплексное решение, объединяющее фундаментальные модели мира (World Foundation Models) и инструменты разработки, которые закрывают оба этих пробела. Это не просто библиотека, а целая экосистема, позволяющая инженерам создавать, обучать и развертывать симуляторы, способные понимать и предсказывать физические процессы.
В основе платформы лежит Cosmos Framework — модульная, открытая среда для обучения, оптимизации и вывода моделей. Она поддерживает широкий спектр архитектур, включая Cosmos 3, NVIDIA Alpamayo, GR00T, Qwen и pi0.5. Параллельно с этим, Cosmos NIM предоставляет микросервисы для ускоренного вывода моделей на GPU, обеспечивая высокую производительность даже при работе с ресурсоемкими задачами генерации видео и данных лидара. В этой статье мы подробно разберем, как использовать эти инструменты для создания интерактивных симуляций в автономном вождении, робототехнике и хирургии.
01Что такое Cosmos Framework и зачем он нужен?
Cosmos Framework — это открытый и полностью модульный фреймворк, охватывающий полный жизненный цикл разработки моделей мира. Изначально созданный для поддержки моделей серии Cosmos 3, он быстро эволюционировал, чтобы интегрировать такие модели, как NVIDIA Alpamayo, GR00T, Qwen и pi0.5, а также другие совместимые модели из Hugging Face. Это делает его универсальной платформой для исследователей и разработчиков, работающих с мультимодальными данными.
Ключевая особенность фреймворка — его способность обрабатывать текст, изображения, видео, аудио и действия (actions) в едином конвейере. Разработчики могут использовать новые «навыки агентов» (agent skills) для автоматизации рутинных задач, таких как подготовка данных, обучение с подкреплением или пост-обработка. Это снижает порог входа в сложную область генеративной симуляции, позволяя сосредоточиться на логике приложения, а не на инфраструктурных сложностях.
Обучение и адаптация моделей
Процесс обучения в Cosmos Framework спроектирован для максимальной эффективности. Разработчики могут использовать технику LoRA (Low-Rank Adaptation) для параметрически эффективной адаптации моделей, что позволяет обновлять только небольшую часть параметров, сохраняя основную модель неизменной. Для более глубокой кастомизации доступен полный контролируемый дообучение (SFT), которое обновляет все параметры модели. Данные могут загружаться из различных форматов, включая JSONL, WebDataset, LeRobot или через пользовательские адаптеры, что обеспечивает гибкость при работе с разрозненными наборами данных.
Важным аспектом является возможность распределенного обучения на нескольких GPU с сохранением контрольных точек (checkpoints) для возобновления работы. После завершения обучения можно использовать встроенные навыки агентов для автоматизации пост-обработки и оценки качества модели. Это создает замкнутый цикл, где модель быстро адаптируется к новым доменам, будь то новые типы датчиков или специфические физические условия.
Обучение с подкреплением (RL)
Платформа теперь поддерживает как онлайн, так и офлайн пути обучения с подкреплением. Это критически важно для Physical AI, где агент должен учиться на взаимодействии с симулированной средой. Поддерживаются следующие передовые методы:
- DPO (Direct Preference Optimization): Офлайн-оптимизация предпочтений, позволяющая настраивать модель на основе предпочтительных и нежелательных действий без необходимости взаимодействия с симулятором в реальном времени.
- GRPO (Group Relative Policy Optimization): Онлайн-RL с использованием правила или модели вознаграждения и руллетов vLLM. Этот метод эффективен для обучения политик в сложных средах.
- PPO (Proximal Policy Optimization): Актер-критик RL с замороженной справочной моделью и критиком. Особенно полезен для обучения воплощенных политик (embodied policies) в симуляции.
- OPD (On-Policy Distillation): Дистилляция из замороженной модели-учителя, что позволяет передавать знания от большой модели к маленькой.
- DiffusionNFT: Онлайн-RL для диффузионных моделей мира, что является прорывом в генерации плавных и физически корректных траекторий.
Платформа позволяет запускать роли руллетов, вознаграждения и обучения на общих GPU или в отдельных пулах ресурсов, что обеспечивает гибкое распределение нагрузки. Поддерживается подключение популярных симуляторов для сбора опыта, что делает процесс обучения непрерывным и масштабируемым.
Оптимизация и вывод
После обучения модели часто требуется оптимизация для развертывания. Cosmos Framework предлагает инструменты для дистилляции моделей (уменьшения их размера или количества шагов генерации) и квантования (снижения использования памяти). Совместимые контрольные точки можно запускать с использованием Hugging Face Diffusers, PyTorch, SGLang, vLLM-Omni, vLLM, TRT-LLM и TRT-Edge-LLM, а также через NVIDIA NIM. Это дает разработчикам выбор между гибкостью PyTorch и производительностью специализированных движков вывода.
02Симуляция автономного вождения: от офлайн к онлайн
Одним из самых сложных применений моделей мира является симул
Источник: NVIDIA Developer ↗