Проблема кросс-платформенной адаптации
Адаптация стека восприятия (perception stack) к новой модели автомобиля — сложная задача. Изменение геометрии кузова, калибровки датчиков и углов обзора требует перетренировки моделей. Сбор и разметка новых реальных данных для каждой модификации (например, переход от SUV к седану) дороги и часто невозможны на ранних этапах разработки. NVIDIA Omniverse NuRec решает эту проблему, позволяя использовать существующие реальные записи для генерации синтетических данных под новую конфигурацию сенсоров.
Технология: 3D Gaussian Splatting и Novel-View Synthesis
NuRec реконструирует реальные сцены вождения с помощью 3D Gaussian Splatting. Ключевые возможности включают:
- Novel-view synthesis: Рендеринг сцен с новыми параметрами камеры (экстенсики, интренсики, поле зрения, линзы pinhole/fisheye/f-theta).
- Сохранение аннотаций: Реконструированная сцена сохраняет траектории, калибровки и треки динамических объектов, что позволяет адаптировать лейблы для новых ракурсов.
Детали датасета Physical AI NuRec
Для тестирования и разработки доступен датасет на Hugging Face. Он содержит более 1500 нейронно-реконструированных сцен, каждая длительностью около 20 секунд. Данные собраны с шести камер:
| Камера | Угол обзора (FOV) | Назначение |
|---|---|---|
| Front-wide | 120° | Передний широкий обзор |
| Front-telephoto | 30° | Передний телеобъектив |
| Cross-left / Cross-right | 120° | Боковые обзоры |
| Rear-left / Rear-right | 70° | Задние обзоры |
Рабочий процесс (Workflow)
Процесс адаптации включает четыре шага:
- Скачивание сцены: Использование репозитория
NVIDIA/nurec-skillsдля загрузки USDZ-сцены из датасета. - Рендеринг: Настройка целевого сенсора (rig) в JSON-файле и рендеринг новых видов через контейнер NRE (NVIDIA Reconstruct Engine).
- Постобработка: Применение NVIDIA Harmonizer для обеспечения временной согласованности кадров (temporal consistency).
- Обучение: Использование полученных синтетических данных для дообучения модели перцепции.
Результаты и значимость
Внутренние тесты программы автономного вождения NVIDIA показали, что использование синтетических данных, сгенерированных NuRec для новой платформы, дает измеримый прирост точности (precision) и полноты (recall) обнаружения объектов по сравнению с zero-shot базовой линией. Это позволяет разработчикам выявлять «слепые зоны» новой геометрии кузова до появления физического прототипа.
Источник: NVIDIA dev blog ↗