Прорыв в симуляции трафика
Команда Nvidia совместно с KAIST представила BirdDreams — новую архитектуру «мировых моделей» (world models) для автономного вождения. В отличие от предыдущих решений, требующих ввода будущих траекторий всех окружающих машин, BirdDreams генерирует перспективное видео (RGB) и схему вида сверху (BEV) одновременно, исходя только из одного входного кадра.
Ключевая особенность системы — способность окружающего трафика реактивно реагировать на действия водителя (ego vehicle). Если модель предсказывает агрессивное перестроение или проезд на красный свет, виртуальные автомобили вокруг корректируют свое поведение, чтобы избежать столкновений, а не просто воспроизводят записанные сценарии.
Архитектура: совместное внимание двух потоков
Модель использует два видео-диффузионных трансформера, связанных через механизм joint attention. Один поток обрабатывает перспективное видео, сохраняя визуальные детали, второй — схематичный BEV, где машины и дороги представлены как простые геометрические фигуры в метрическом масштабе. Это позволяет модели использовать сильные стороны каждого представления: BEV дает точную геометрию для контроля, а RGB — контекст и текстуры.
Точность контроля траектории
Для управления поведением водителя BirdDreams использует входную траекторию в метрах, которая проецируется на BEV-пространство. Это обеспечивает высокую точность следования заданному пути, включая мелкие изменения руления. Сравнение с базовой линией на базе OmniDreams (HD-map-conditioned) показывает значительное улучшение метрик:
| Метрика | OmniDreams (Baseline) | BirdDreams | Улучшение |
|---|---|---|---|
| ADE (с входом траектории) | 5.88 | 3.83 | 35% снижение ошибки |
| minADE (без входа траектории) | 7.76 | 6.15 | 21% снижение ошибки |
Тестирование проводилось на датасетах PhysicalAI-AV и nuScenes. Снижение ошибки ADE (Average Displacement Error) критически важно для планирования маршрутов, так как оно отражает отклонение сгенерированной траектории от реальной.
Реалистичность и человеческая оценка
Помимо числовых метрик, модель прошла проверку на реалистичность поведения окружающих машин. В слепом тестировании с участием 25 человек (375 парных сравнений) 57% респондентов выбрали видео, сгенерированные BirdDreams, как более реалистичные, против 24% у базовой модели. Это подтверждает, что совместное обучение на BEV-кадрах помогает модели лучше понимать физику движения и окклюзии объектов.
Практическое применение
BirdDreams не требует карт высокой четкости (HD maps) или состояний окружающих транспортных средств на этапе инференса. Это упрощает развертывание модели в новых условиях. Архитектура также поддерживает редактирование сцен: изменяя входной BEV, разработчики могут генерировать различные сценарии (повороты, перекрестки) для обучения автономных систем.
Источник: Nvidia ↗
