Проблема агрегированных оценок
Генерация полноценных игр требует от ИИ-агентов координации правил, взаимодействий, состояний и визуального представления в течение длительного процесса. Традиционные метрики часто скрывают истинное положение дел, показывая лишь общий балл. Авторы исследования подчеркивают, что для развития отрасли необходим детальный разбор: какие именно способности реализованы, а какие требования остаются невыполненными.
Структура бенчмарка OCTAVE
Новый инструмент OCTAVE (Open Capability-Resolved Test for Automated Video Entertainment) структурирован вокруг 8 измерений способностей (Capability Dimensions). В набор данных включены 180 задач и 1 800 требований к оценке (Evaluation Requirements). Источники данных разнообразны: реальные запросы игроков, реконструкция механик коммерческих игр и дизайн от экспертов-человеков. Бенчмарк охватывает различные платформы и форматы:
- PC Web и Mobile Web;
- 2D и 3D игры.
Методология: Полнота против Глубины
Ключевая инновация OCTAVE — разделение требований на два типа, что позволяет проводить статический анализ исходного кода:
- Completeness (Полнота): Оценка реализации явно указанных, публичных базовых функций игры.
- Richness (Насыщенность): Оценка скрытых, более глубоких системных связей и нюансов геймдизайна, которые не всегда очевидны в техническом задании.
Результаты тестирования 11 моделей
Авторы протестировали 11 комбинаций моделей и harness-оберток. Результаты оказались скромными: даже лучшие системы не достигают порога в 50% по ни одному из показателей. Ниже представлена сводка ключевых метрик:
| Метрика | Значение | Комментарий |
|---|---|---|
| Completeness Score | 33.2% | Доля успешно реализованных базовых правил. |
| Richness Score | 32.5% | Доля реализованных глубоких системных связей. |
| Static Gate Failures | 19.9% | Доля записей генерации с критическими ошибками или отсутствующими артефактами. |
| Best Model Performance | < 50% | Даже исключая самопроверку моделей, результат остается низким. |
Где ИИ силен, а где слаб?
Исследование выявило асимметрию в способностях моделей. Системы демонстрируют относительно лучшие результаты в Core Rules (Базовые правила) и Numerical Design (Числовой дизайн). Однако наблюдаются значительные пробелы в области AI/NPC (Искусственный интеллект врагов/персонажей) и Feedback and Game Feel (Обратная связь и ощущение от игры).
Интересно, что сложность требований (Richness) не всегда коррелирует с провальными результатами. Основное расхождение между человеческой оценкой и автоматизированным оценщиком OCTAVE происходит в случаях, когда человек считает требование выполненным, а система — нет. Это указывает на необходимость доработки самих инструментов валидации кода.
Источник: arXiv cs.AI ↗
