В мире современной робототехники и цифровых двойников существует критический разрыв между «визуально правильной» 3D-моделью и «физически рабочей» симуляцией. Многие разработчики сталкиваются с ситуацией, когда импортированная в симулятор CAD-модель выглядит идеально, но при запуске физики объекты проваливаются сквозь манипуляторы, а движения робота выглядят неестественно или вовсе ломают симуляцию. Проблема заключается не в геометрии, а в отсутствии правильно настроенных физических свойств, коллизий и кинематических связей. Именно для решения этой проблемы NVIDIA разработала концепцию SimReady — стандарта, определяющего требования к ассетам OpenUSD для конкретных сценариев симуляции.
В этой статье мы подробно разберем пятишаговый рабочий процесс, описанный в документации NVIDIA, который позволяет превратить обычные STEP-файлы в полностью готовую к симуляции модель робота ABB YuMi. Мы покажем, как использовать передовые AI-модели (на примере GPT-6 Astra) и библиотеки NVIDIA Omniverse для автоматизации рутинных задач: от импорта геометрии до настройки трения и проверки коллизий. Этот подход не только экономит часы ручной работы, но и обеспечивает воспроизводимость результатов, что критически важно для обучения нейросетей и тестирования алгоритмов управления.
01Что такое SimReady и почему это важно для симуляции?
Термин SimReady (Simulation Ready) обозначает готовность 3D-ассета к использованию в физически точных симуляторах. Простого импорта геометрии из CAD-системы недостаточно. Для того чтобы робот мог взаимодействовать с объектами, симулятор должен знать не только, как выглядит робот, но и как он ведет себя в физическом мире. Это включает в себя массу, центр тяжести, коэффициенты трения, пределы движения суставов (joints) и, что самое важное, геометрию коллизий (collision geometry).
Без этих параметров симуляция становится «игрушечной». Например, если у захвата робота (гриппера) не задана коллизионная геометрия, виртуальный куб может просто пройти сквозь пальцы манипулятора, как призрак. Если же неправильно заданы оси вращения суставов, робот может начать двигаться в неестественных направлениях, что приведет к ошибке валидации или краху симуляции. SimReady Foundation предоставляет спецификации и профили валидации, которые позволяют разработчикам автоматически проверять ассеты на соответствие этим строгим требованиям.
Ключевые технологии, поддерживающие этот процесс:
- OpenUSD: Универсальный формат представления геометрии, материалов и физических свойств.
- SimReady Foundation: Репозиторий со спецификациями и инструментами валидации.
- NVIDIA Omniverse Libraries: Библиотеки для конвертации, инспекции и подготовки контента.
- NVIDIA Isaac Sim: Среда симуляции, где происходит финальное тестирование.
- NVIDIA Omniverse AI Agent Skills: Агенты (например, CAD-to-SimReady), которые помогают автоматизировать процесс.
02Подготовка окружения и входных данных
Прежде чем приступить к работе, необходимо подготовить рабочее пространство. В примере NVIDIA используется актуальная версия Isaac Sim и CLI-интерфейс для взаимодействия с AI-агентом. Важно запускать инструмент непосредственно в директории Isaac Sim, чтобы агент мог корректно находить необходимые навыки (skills) и библиотеки.
Для начала работы вам потребуется создать папку reference внутри директории Isaac Sim. В эту папку необходимо поместить следующие входные данные:
- STEP-файлы робота: Исходная геометрия. В нашем случае это файлы робота ABB YuMi.
- Референсные изображения и видео: Фотографии и видео реального робота от производителя. Они нужны для визуальной валидации — чтобы убедиться, что цвета, текстуры и пропорции в симуляции соответствуют реальности.
- Спецификации SimReady: Репозиторий, который поставляется вместе с Isaac Sim. Он содержит правила валидации.
- Навык CAD-to-SimReady: Специальный скрипт/навык, который направляет AI-агента через процесс конвертации.
После установки AI-модели (в примере используется GPT-6 Astra) и запуска интерфейса, необходимо активировать удаленный Python-сервер в Isaac Sim. Это позволит AI-агенту «общаться» с симулятором через Python-скрипты, выполняя команды напрямую в реальном времени.
03Шаг 1: Импорт робота из STEP-файлов
Первый шаг — конвертация CAD-геометрии в формат OpenUSD и импорт в Isaac Sim. Здесь мы используем AI-агента, чтобы он интерпретировал входные данные и выполнил импорт. Агент должен не просто загрузить модель, но и правильно разместить захватные устройства (грипперы) на концах манипуляторов.
Пример промпта для AI-агента:
Use the STEP files in the reference folder and CAD-to-SimReady skill and import the robot into Isaac Sim. Make sure you also import both grippers and position them at the correct mounting points on the robot’s arms.После выполнения этой команды агент использует навыки для создания структуры сцены. Важно проверить, что робот импортирован корректно, все части на месте, и задача понятна агенту. Если какие-то данные отсутствуют, агент должен сообщить об этом, чтобы мы могли их добавить.
04Шаг 2: Визуальное соответствие (Appearance Validation)
После импорта
Источник: NVIDIA Developer ↗