Новый подход к разработке симуляций
Превращение идеи в рабочую симуляцию традиционно требует сборки ассетов, настройки физики и рендеринга. NVIDIA демонстрирует новый подход: разработчики направляют AI-агентов через инструкции на естественном языке, а библиотеки Omniverse обеспечивают GPU-ускоренную физику, рендеринг и симуляцию сенсоров. Ключевые модели, такие как GPT-6 Astra и Claude Fable 5, выступают в роли «руководителей», которые генерируют код анимации, собирают сцены и валидируют результаты.
Кейс 1: Симулятор андроидов для склада
Фрэнк Делиз (Frank DeLise), менеджер продуктов Omniverse, использовал агента Astra для создания интерактивного симулятора склада с участием человекоподобного робота. Агент самостоятельно подключил библиотеки Omniverse для физики (ovphysx), обновления сцены (ovstage), рендеринга (ovrtx) и интерфейса (ovui). С помощью SimReady (simready-foundation) была создана физическая сцена, а Astra сгенерировала код анимации и приложения, объединив все компоненты в единый прототип с видом от первого и третьего лица.
Кейс 2: Тестирование автономного вождения (Zero to Alpamayo)
Дойуб Ким (Doyub Kim) поручил Astra построить среду «Zero to Alpamayo» на основе улицы Маркет в Сан-Франциско. Агент выстроил рабочий процесс: создание ассетов, трафик, симуляция сенсоров Omniverse RTX и интеграция модели вождения Alpamayo. Отдельный эксперимент с Cosmos3-Nano позволил варьировать погоду и освещение в записанных видео, сравнивая реакцию модели вождения на одни и те же сценарии в разных условиях. Это создало полигон для проверки того, как изменения в сцене или сенсорах влияют на поведение автономного транспорта.
Кейс 3: Цифровые двойники через валидацию сенсоров
Эшли Рид (Ashley Reid) использовала агентов Astra и Claude Fable 5 для сравнения выходных данных камер ovrtx и сырых данных LiDAR с реальными записями. За три дня агенты создали два цифровых двойника с нуля и улучшили два существующих. Процесс был итеративным: агенты измеряли расхождения, модифицировали сцены OpenUSD и проверяли результаты. Улучшения касались недостающих объектов, геометрии и материалов, а приемка сцены зависела от метрик камеры и LiDAR.
Сводная таблица технологий и результатов
| Проект / Задача | Используемые AI-модели | Ключевые библиотеки Omniverse | Результат / Метрика |
|---|---|---|---|
| Симулятор склада (Humanoid) | GPT-6 Astra | ovphysx, ovstage, ovrtx, ovui, simready-foundation | Интерактивный симулятор с видами от 1-го и 3-го лица |
| Автономное вождение (Zero to Alpamayo) | GPT-6 Astra, Cosmos3-Nano | Omniverse RTX (сенсоры), Alpamayo (драйвер) | Среда для сравнения моделей при изменении погоды/освещения |
| Цифровые двойники (Sensor Validation) | GPT-6 Astra, Claude Fable 5 | ovrtx (камера), OpenUSD | 2 созданных с нуля и 2 улучшенных двойника за ~3 дня |
Эти примеры показывают, что фронтальные AI-агенты способны не просто генерировать контент, но и управлять сложными инженерными пайплайнами, связывая физику, рендеринг и валидацию данных, что критически важно для разработки роботов и автономных систем.
Источник: NVIDIA Blog ↗