Компании NVIDIA и Hugging Face анонсировали глубокую интеграцию ключевых инструментов NVIDIA в библиотеку LeRobot. Это решение направлено на устранение фрагментации в разработке физической ИИ (Physical AI), предоставляя разработчикам стандартизированный путь от сбора данных до развертывания моделей на реальных роботах. В рамках партнерства в LeRobot уже доступны NVIDIA Isaac GR00T 1.7 и Isaac Teleop, а в ближайшее время будет добавлена модель NVIDIA Cosmos 3.
Ключевые компоненты интеграции
Интеграция охватывает полный цикл разработки робототехнических систем. Разработчики получают доступ к инструментам для сбора демонстраций, обучения фундаментальных моделей и их тестирования в симуляции. Основные нововведения включают:
- NVIDIA Isaac Teleop: Фреймворк для сбора данных, позволяющий записывать высококачественные демонстрации человека с внешних устройств в стандартизированных форматах.
- NVIDIA Isaac GR00T 1.7: Первая открытая и коммерчески жизнеспособная фундаментальная модель роботов (VLA), оптимизированная для пост-обучения и развертывания в LeRobot.
- NVIDIA Isaac Lab-Arena: Компонент в Hub среды LeRobot для быстрого прототипирования сложных симуляционных сред и тестирования политик управления.
Масштаб экосистемы и метрики
Партнерство объединяет базу из 3 миллионов разработчиков робототехники NVIDIA и 16 миллионов создателей ИИ в Hugging Face. Для ускорения старта проектов используется крупнейший открытый датасет по физической ИИ, который уже скачали более 15 миллионов раз. Он содержит более 350 000 реальных и симулированных траекторий и 57 миллионов захватов объектов.
Ниже приведена сводка по интегрированным компонентам и их роли в конвейере разработки:
| Компонент | Тип | Ключевая функция в LeRobot |
|---|---|---|
| Isaac GR00T 1.7 | VLA-модель | Фундаментальная модель для humanoid-роботов; адаптация к новым задачам |
| Isaac Teleop | Фреймворк | Сбор данных, стандартизация форматов, расширение датасетов |
| Isaac Lab-Arena | Симуляция | Прототипирование сред, регистрация в EnvHub, тестирование политик |
| Cosmos 3 | World Model | Генерация синтетических данных, симуляция сценариев (скоро) |
Деплой на железе и будущее
Интеграция не ограничивается софтом. Поддерживается развертывание VLA-моделей на открытых humanoid-роботах, таких как Reachy 2, с использованием процессора NVIDIA Jetson Thor. В ближайшей перспективе в LeRobot появится NVIDIA Cosmos 3 — передовая модель мира для физической ИИ, которая позволит генерировать и дополнять данные робототехники, симулировать сценарии и разрабатывать политики управления в условиях нехватки реальных данных.
Источник: NVIDIA Blog ↗