Проблема оценки XR-разработки
Генеративные AI-агенты быстро эволюционируют от написания отдельных файлов до создания целых репозиториев, однако их способность создавать интерактивные приложения для расширенной реальности (XR) остается «черным ящиком». В отличие от традиционного ПО, XR-приложения работают в динамичных 3D-средах, где надежность зависит от непрерывного движения пользователя, пространственного ввода и данных с датчиков окружения. Для решения этой проблемы команда во главе с Уильямом Хуангом (William Huang) представила GenXR-Bench — первый бенчмарк для сквозной оценки AI-кодеров в разработке XR.
Структура и валидация теста
GenXR-Bench содержит 112 задач, авторизованных экспертами, которые охватывают 24 реализации функций, 21 исправление ошибок и 67 задач на генерацию приложений. Тестирование включает как сценарные, так и адаптивные взаимодействия с программными и визуальными утверждениями. Особое внимание уделено валидации: тестовый набор показал точность 96.5% при сравнении с ослепленными экспертными оценками 124 кандидатных приложений, запущенных на потребительском XR-оборудовании.
Результаты тестирования моделей
При оценке 10 различных моделей на GenXR-Bench исследователи обнаружили, что даже самая сильная конфигурация достигает лишь 50.9% общего показателя Pass@1. Это означает, что в половине случаев AI-агент не может с первого раза сгенерировать рабочий код. Ниже приведена сводка ключевых метрик бенчмарка:
| Метрика / Параметр | Значение | Примечание |
|---|---|---|
| Общее количество задач | 112 | Экспертно авторизованные сценарии |
| Реализация функций | 24 | Добавление нового функционала |
| Исправление багов | 21 | Отладка существующего кода |
| Генерация приложений | 67 | Создание с нуля |
| Точность валидации | 96.5% | Сравнение с экспертной оценкой |
| Лучший Pass@1 | 50.9% | Результат лучшей из 10 протестированных моделей |
Почему AI «спотыкается» в XR?
Анализ ошибок выявил системные проблемы, с которыми сталкиваются современные модели. Основные причины провалов связаны с непониманием:
- Асинхронных жизненных циклов сенсоров: AI часто не учитывает задержки и асинхронность получения данных с камер и датчиков движения.
- Физического обоснования (physical grounding): Модели плохо понимают, как виртуальные объекты взаимодействуют с реальной физикой и пространством.
- Семантики воплощенного взаимодействия: Трудности с кодированием логики, зависящей от положения тела пользователя в пространстве.
Значение для индустрии
GenXR-Bench устанавливает воспроизводимую тестовую среду для оценки AI-агентов в условиях интерактивных и физически локализованных пространственных вычислений. Низкий показатель Pass@1 указывает на то, что для полноценной автоматизации разработки XR-приложений необходимы значительные улучшения в области понимания контекста и физических законов, а не просто увеличение объема обучающих данных.
Источник: arXiv cs.AI ↗