От генерации к редактированию: новый этап для AI
Интерактивные модели мира всё чаще способны генерировать среды с нуля, но целенаправленное редактирование уже существующих, исполняемых миров остаётся слабо изученной областью. Команда исследователей во главе с Максом Ку (Max Ku) формулирует задачу как вмешательство в существующий мир с сохранением ключевых свойств. Введение понятия «глубины вмешательства» (intervention depth) позволяет измерять, насколько сильно изменение связывает сущности, динамику и системы игры.
IGMBench: 110 задач и 1,1K критериев
Для тестирования этой способности создана платформа IGMWorld и бенчмарк IGMBench. Тестирование проводилось на двух популярных играх — Minecraft и Terraria. Набор данных включает 110 задач, охватывающих вмешательство в свойства, сущности, динамику и системы. Оценка производится по более чем 1,1 тысячи критериев, включая детерминированную исполняемость, поведение, сохранение неизменных свойств и визуальные проверки.
Результаты: точность vs. глубина
Передовые кодовые агенты (coding agents) демонстрируют значительные способности к редактированию миров. Однако надежность решения задач падает по мере увеличения глубины вмешательства. Самая сильная конфигурация решает 78,2% задач по строгому критерию уровня задачи, а на уровне отдельных критериев этот показатель достигает 94,8%.
Интересно, что большинство неудачных редактировок всё равно успешно собираются и загружаются в игре. Основная сложность заключается не в создании кода, а в том, чтобы отредактированный мир вел себя именно так, как запрошено пользователем.
| Метрика / Параметр | Значение | Примечание |
|---|---|---|
| Доля решенных задач (Task-level) | 78,2% | Строгий критерий для лучшей конфигурации |
| Доля выполненных критериев (Criterion-level) | 94,8% | Показатель детальной точности |
| Визуальная согласованность | < 50% | Совместный показатель прохождения визуальных тестов |
| Объем бенчмарка IGMBench | 110 задач / 1.1K+ критериев | Игры: Minecraft, Terraria |
Визуальная слепота ИИ
Отдельной проблемой остается визуальная согласованность. Все протестированные конфигурации показали совместный показатель прохождения визуальных тестов ниже 50%. Это указывает на то, что ИИ-агенты могут успешно менять логику и поведение игры, но часто не учитывают визуальные артефакты или несоответствия в графическом представлении.
Почему это важно
Результаты показывают, что редактирование мира — это отдельная способность, отличная от генерации и взаимодействия. Исполняемые игры предоставляют практичный полигон для изучения этой способности, что открывает путь к созданию более надежных инструментов для моддинга и создания контента пользователя с помощью ИИ.
Источник: arXiv cs.AI ↗