Представьте себе сцену: вы хотите научить робота ходить по сложной местности, объезжая препятствия и сохраняя равновесие. Традиционно это требовало месяцев ручной настройки, тонны кода и глубоких знаний в области робототехники. Но что, если вы можете просто описать задачу на естественном языке, а ИИ-агенты возьмут на себя всю рутину — от планирования трассы до создания 3D-моделей и обучения нейросети? Именно этот революционный подход демонстрирует NVIDIA в своем последнем исследовании с участием робота Microduck. Это не просто демонстрация технологий, а полноценный рабочий процесс (workflow), который меняет парадигму разработки робототехнических систем.
В основе этого процесса лежит синергия нескольких мощных инструментов: локального хабa NVIDIA RTX Spark, где работают ИИ-агенты Hermes и Nemotron, облачного фреймворка обучения NVIDIA Isaac Lab и физического движка Newton. Мы подробно разберем каждый этап этого пути: как ИИ генерирует план, как создаются симуляционные ассеты, как происходит масштабное обучение с подкреплением и как подготовленная политика переносится на реального робота. Этот материал станет вашим путеводителем по созданию собственных симуляционных сред для обучения роботов.
011. От идеи к плану: Роль ИИ-агентов в планировании
Любой сложный проект начинается с четкого понимания задачи. В случае с обучением робота Microduck навигации по препятствиям, исходной точкой является текстовый промпт. Однако простой запрос «научи робота ходить» недостаточен. Необходима детализация: какие препятствия, какие ограничения по пространству, какие требования к фотореализму.
Здесь вступает в игру локальный хаб NVIDIA RTX Spark. На нем запускаются ИИ-агенты, такие как Hermes и NVIDIA Nemotron 3.5 Bolt. Их задача — трансформировать сырой промпт в структурированный пошаговый план проекта. Эти агенты не просто генерируют текст; они анализируют контекст, определяют доступные ресурсы и выстраивают логическую последовательность действий. Например, они могут разбить задачу на этапы: исследование документации Microduck, генерация концептуального изображения, инвентаризация ассетов и подготовка к передаче задач специализированным агентам.
Процесс планирования включает в себя несколько ключевых шагов. Во-первых, агенты проводят анализ официальной документации Microduck, чтобы понять возможности и ограничения робота. Во-вторых, они генерируют фотореалистичное концептуальное изображение трассы, используя проверенные референсы. Это важно для визуализации масштаба и пропорций. В-третьих, агенты создают инвентарь ассетов: они идентифицируют уникальные объекты, которые можно использовать повторно, и фиксируют их размеры и расположение. Если какой-то объект на изображении обрезан или скрыт, это также отмечается, чтобы избежать ошибок при моделировании.
Итогом этого этапа становится пакет передачи (handoff package). Он содержит общий план, исследование робота, концептуальное изображение, инвентарь ассетов с обрезанными референсами и инструкции для следующего агента — Astra. Этот пакет дает Astra полный контекст задачи, позволяя ей эффективно приступить к созданию 3D-моделей без необходимости повторного анализа исходной идеи.
022. Создание симуляционных ассетов: От 2D-изображений к 3D-моделям
После получения плана работы, агент Astra берет на себя создание 3D-активов для симуляционной среды. Это один из самых трудоемких этапов в традиционной разработке игр и симуляций, но здесь ИИ значительно ускоряет процесс. Astra начинает с улучшения исходных изображений. Поскольку объекты часто вырезаются из большего концептуального изображения, они могут быть низкого разрешения или иметь артефакты. Astra использует облачные инструменты редактирования изображений для изоляции объектов, повышения четкости и восстановления деталей.
После улучшения референсов Astra сравнивает их с оригинальными кадрами, проверяя согласованность силуэтов, пропорций, цветов и характерных черт. Улучшенные изображения служат руководством для моделирования, в то время как оригиналы фиксируют то, что было реально видно на концепте. Для поверхностей, которые невозможно определить по изображениям (например, задняя часть объекта), фиксируются допущения моделирования.
Далее начинается процесс геометрического моделирования. Astra использует FreeCAD для создания базовой геометрии и редактируемой CAD-структуры. Затем, с помощью Blender, добавляются тонкие геометрические детали и материалы. Важно отметить, что оба приложения запускаются локально через программное исполнение, что обеспечивает безопасность и контроль над данными. Результатом являются редактируемые модели и экспортированные USD-активы (Universal Scene Description), которые готовы к использованию в симуляторе.
Для ускорения процесса NVIDIA предлагает использовать SimReady Central Library — бесплатную библиотеку, содержащую готовые к симуляции активы в формате OpenUSD. Использование этих активов в сочетании с новыми, сгенерированными ИИ объектами, позволяет быстро собрать сложную среду, не тратя время на создание каждого элемента с нуля. Эти ассеты становятся строительными блоками для трассы препятствий Microduck.
033. Сборка симуляционной среды в NVIDIA Isaac Sim
Когда все ассеты готовы, наступает этап сборки самой симуляционной среды. Агент Astra использует NVIDIA Isaac Sim для компоновки трассы препятствий. Isaac Sim предоставляет доступ к библиотекам Omniverse, которые отвечают за рендеринг и симуляцию сенсоров, а так
Источник: NVIDIA Developer ↗