Chat2Scenic: RAG-фреймворк для генерации сценариев AD с точностью 76%

Проблема автоматизации тестирования

Валидация систем автономного вождения требует создания тысяч разнообразных сценариев, соответствующих строгим нормативным требованиям. Традиционные подходы сталкиваются с дилеммой: методы Retrieval-assemble (сборка из готовых блоков) обеспечивают приемлемую компиляцию, но не масштабируются, а полная генерация скриптов через RAG часто приводит к ошибкам синтаксиса. Разрыв между текстовыми описаниями правил и исполняемым кодом (DSL) оставался ключевым узким местом.

Решение: Chat2Scenic

Команда во главе с Юанем Гао (Yuan Gao) разработала Chat2Scenic — итеративный фреймворк, использующий Retrieval-augmented Generation (RAG) для генерации сценариев на специализированном языке домена (DSL). Система работает как чат-бот, позволяя инженерам интерактивно уточнять сценарии, опираясь на базу знаний регуляций (NHTSA, регламенты ООН) и синтаксис DSL. Итеративный подход позволяет модели исправлять ошибки компиляции в реальном времени.

Результаты бенчмарков

Авторы создали открытый бенчмарк, включающий 123 сценария из различных нормативных документов. Тестирование на современных больших языковых моделях (LLM) показало существенное преимущество Chat2Scenic по сравнению с базовыми методами. Ключевые метрики эффективности представлены ниже:

Высокий показатель CSR (76.42%) означает, что скрипты, сгенерированные Chat2Scenic, успешно компилируются в симуляторе в подавляющем большинстве случаев, что критически важно для автоматизации процессов тестирования.

Значение для индустрии

Работа принята к публикации на конференции IEEE IROS 2026. Открытый код и датасет доступны для сообщества, что позволяет разработчикам автономного вождения ускорить создание тестовых кейсов, снижая зависимость от ручного написания кода. Это шаг к более безопасной и стандартизированной валидации AI-систем в транспорте.

Источник: arXiv cs.AI ↗