Автоматизация планирования с помощью AI-агентов
Процесс начинается с текстового промпта, который обрабатывается локальными AI-агентами Hermes и NVIDIA Nemotron 3.5 Bolt на платформе NVIDIA RTX Spark. Эти модели не просто генерируют идеи, а создают детальный пошаговый план проекта: от анализа документации Microduck до инвентаризации ассетов. Агенты анализируют концептуальные изображения, извлекают уникальные объекты, фиксируют их размеры и ограничения видимости, а затем передают пакет данных агенту Astra для создания 3D-моделей.
Генерация 3D-ассетов и физическая симуляция
Агент Astra использует облачное редактирование изображений для улучшения качества референсов, после чего программно управляет FreeCAD для создания геометрии и Blender для нанесения материалов. Готовые ассеты экспортируются в формат OpenUSD. Сцена собирается в NVIDIA Isaac Sim, где физика движения и баланса моделируется с помощью Newton, а рендеринг и сенсорные данные обеспечиваются библиотеками Omniverse.
Масштабное обучение в Isaac Lab
Ключевой этап — обучение политики восприятия и локомоции. Обучение проводится в NVIDIA Isaac Lab с использованием 4096 параллельных сред на рабочей станции NVIDIA RTX PRO 6000 Blackwell. Робот обучается использовать данные с камеры глубины (head-camera) и состояние самого себя для навигации. После обучения политика возвращается на RTX Spark для локальной валидации в Isaac Sim, где проверяется способность обходить препятствия и завершать трассу.
Технические характеристики и инструменты
Для наглядности ключевые компоненты пайплайна и их роли сведены в таблицу:
| Компонент/Инструмент | Роль в пайплайне | Ключевые характеристики |
|---|---|---|
| NVIDIA RTX Spark | Локальный хаб разработки | Запуск AI-агентов, валидация политик |
| Hermes & Nemotron 3.5 Bolt | Планирование и анализ | Генерация плана, инвентаризация ассетов из промпта |
| Astra | Создание ассетов | Управление FreeCAD/Blender, экспорт USD |
| NVIDIA Isaac Lab | Обучение RL | 4096 параллельных сред, RTX PRO 6000 Blackwell |
| Newton | Физический движок | Моделирование баланса и взаимодействия с окружением |
Значение для индустрии
Этот подход демонстрирует переход от ручного создания симуляционных сред к полностью автоматизированному конвейеру, управляемому AI. Интеграция SimReady Central Library (более 2000 готовых ассетов) и возможность переноса политик в реальный мир (sim-to-real) через доменную рандомизацию делают этот workflow референсом для быстрого прототипирования робототехнических решений.
Источник: NVIDIA dev blog ↗