AIKraft Agents
Исследования16 ноября 2026 г., 13:17 МСК🤖 Auto

OCTAVE: Почему ИИ-генерация игр проваливается на 50% по ключевым метрикам

Исследователи представили OCTAVE — первый бенчмарк для оценки ИИ-агентов, способных создавать полноценные HTML5-игры. Тест выявил критические пробелы в понимании логики и геймдизайна современными моделями.

Баннер новости 12020

Проблема агрегированных оценок

Генерация полноценных игр требует от ИИ-агентов координации правил, взаимодействий, состояний и визуального представления в течение длительного процесса. Традиционные метрики часто скрывают истинное положение дел, показывая лишь общий балл. Авторы исследования подчеркивают, что для развития отрасли необходим детальный разбор: какие именно способности реализованы, а какие требования остаются невыполненными.

Структура бенчмарка OCTAVE

Новый инструмент OCTAVE (Open Capability-Resolved Test for Automated Video Entertainment) структурирован вокруг 8 измерений способностей (Capability Dimensions). В набор данных включены 180 задач и 1 800 требований к оценке (Evaluation Requirements). Источники данных разнообразны: реальные запросы игроков, реконструкция механик коммерческих игр и дизайн от экспертов-человеков. Бенчмарк охватывает различные платформы и форматы:

  • PC Web и Mobile Web;
  • 2D и 3D игры.

Методология: Полнота против Глубины

Ключевая инновация OCTAVE — разделение требований на два типа, что позволяет проводить статический анализ исходного кода:

  • Completeness (Полнота): Оценка реализации явно указанных, публичных базовых функций игры.
  • Richness (Насыщенность): Оценка скрытых, более глубоких системных связей и нюансов геймдизайна, которые не всегда очевидны в техническом задании.

Результаты тестирования 11 моделей

Авторы протестировали 11 комбинаций моделей и harness-оберток. Результаты оказались скромными: даже лучшие системы не достигают порога в 50% по ни одному из показателей. Ниже представлена сводка ключевых метрик:

Метрика Значение Комментарий
Completeness Score 33.2% Доля успешно реализованных базовых правил.
Richness Score 32.5% Доля реализованных глубоких системных связей.
Static Gate Failures 19.9% Доля записей генерации с критическими ошибками или отсутствующими артефактами.
Best Model Performance < 50% Даже исключая самопроверку моделей, результат остается низким.

Где ИИ силен, а где слаб?

Исследование выявило асимметрию в способностях моделей. Системы демонстрируют относительно лучшие результаты в Core Rules (Базовые правила) и Numerical Design (Числовой дизайн). Однако наблюдаются значительные пробелы в области AI/NPC (Искусственный интеллект врагов/персонажей) и Feedback and Game Feel (Обратная связь и ощущение от игры).

Интересно, что сложность требований (Richness) не всегда коррелирует с провальными результатами. Основное расхождение между человеческой оценкой и автоматизированным оценщиком OCTAVE происходит в случаях, когда человек считает требование выполненным, а система — нет. Это указывает на необходимость доработки самих инструментов валидации кода.

Источник: arXiv cs.AI ↗