Прорыв в архитектуре и данных
NVIDIA выпустила Isaac GR00T 1.7 — первую открытую модель «зрение-язык-действие» (VLA) для гуманоидных роботов, доступную по лицензии Apache 2.0. В отличие от предыдущей версии N1.6, новая модель использует базовый блок Cosmos-Reason2-2B (на базе архитектуры Qwen3-VL). Это позволяет обрабатывать изображения в их нативном соотношении сторон без лишнего заполнения (padding), что критически важно для точности восприятия.
Масштаб обучающей выборки впечатляет: модель предварительно обучена на ~32 000 часов реальных демонстраций людей (включая эгоцентрические видео) и ~8 000 часов симуляционных данных из наборов BEHAVIOR, RoboCasa и Simulated GR-1. Это обеспечивает более естественные движения и улучшенную обобщающую способность.
Результаты бенчмарков: рост эффективности
По сравнению с версией N1.6, GR00T 1.7 демонстрирует существенный прирост метрик на стандартных тестах DROID и SimplerEnv. Улучшенная декомпозиция задач на подзадачи повысила надежность выполнения длинных сценариев (long-horizon reasoning).
| Метрика / Бенчмарк | Рост эффективности (vs N1.6) | Значение |
|---|---|---|
| DROID-F0 | +10% | Базовые задачи манипуляции |
| DROID-F6 | +61% | Сложные многошаговые сценарии |
| SimplerEnv Bridge | +5% | Обобщение на новые среды |
| Fractal | +2% | Кросс-эмбадмент (разные тела роботов) |
Полный цикл разработки: от симуляции к Jetson Thor
Платформа Isaac GR00T предлагает единый конвейер (end-to-end workflow), устраняющий разрозненность инструментов. Ключевые компоненты стека:
- Isaac Lab-Arena: Создание симуляционных сред для генерации данных и тестирования.
- Isaac Teleop: Сбор высококачественных данных демонстраций через телеоперацию.
- Isaac GR00T 1.7: Обучение политик на основе собранных данных.
- Isaac ROS + Jetson Thor: Экспорт модели в форматы ONNX/TensorRT и развертывание на бортовых компьютерах для инференса в реальном времени.
Практическое применение и доступность
Модель доступна на GitHub и Hugging Face (базовый чекпоинт на 3 млрд параметров). NVIDIA демонстрирует использование платформы на примере задачи «взять и переместить яблоко» с использованием Whole Body Controller (AGILE WBC) для сохранения баланса. Разработчики могут адаптировать модель под конкретные роботы через пост-обучение (post-training), используя конвертацию данных в формат LeRobot.
Источник: NVIDIA dev blog ↗