Проблема коротких горизонтов
Большинство современных бенчмарков для агентов (AI Agents) сосредоточены на коротких, эпизодических задачах, где результат легко измерить. Однако они не способны оценить способность модели к стратегическому планированию на длинной дистанции. Авторы работы Scott C. Lowe и Sander W. Keemink из компании Concord (в соавторстве с исследователями из других институтов) предлагают решение: SpireBench.
Это первый тест, позволяющий модели пройти всю коммерческую карточную игру Slay the Spire (StS) с самого начала до конца. Игра идеально подходит для тестирования, так как ранние решения (выбор карт, предметов, пути) напрямую определяют успех в поздних актах, требуя долгосрочного планирования.
Результаты: ИИ против человека
Исследование протестировало 20 крупных языковых моделей (LLM) на высочайшем уровне сложности игры. Результаты показали, что передовые модели (frontier models) превосходят эвристические алгоритмы (baselines) и достигают уровня среднего игрока-человека. Однако они значительно отстают от экспертов.
Ключевая проблема выявилась в динамике игры: по мере удлинения партии (run) разрыв между ИИ и экспертами растет. Сильнейшие модели могут выигрывать первый акт с частотой, сопоставимой с экспертами, но затем их стратегия дает сбой.
Главный дефект: «Страх здоровья»
Анализ ошибок показал, что различие между сильными и слабыми моделями кроется не в знании правил, а в оценке риска. Все протестированные модели склонны сохранять здоровье (HP) вместо того, чтобы тратить его для усиления персонажа. Они играют слишком осторожно, упуская возможности для роста, что в долгосрочной перспективе приводит к поражению.
Память не помогает
Исследователи также проверили, учатся ли модели на своих ошибках в рамках одной сессии. Оказалось, что модели не улучшают свои результаты благодаря памяти между ходами. Более того, записи в памяти часто бывают неверными и чрезмерно осторожными, что мешает адаптации.
Значение SpireBench
SpireBench предоставляет инструменты для точечного анализа: можно определить, где именно агент ошибся (в знании терминов, логике боя или долгосрочном планировании). Это позволяет отделить влияние предобученных данных (знания об игре) от реальных способностей к рассуждению.
| Критерий | Результат ИИ-агентов | Сравнение с человеком |
|---|---|---|
| Уровень сложности | Высший (Ironclad/Silent/Watcher) | — |
| Общий уровень игры | Выше эвристик, ниже экспертов | Уровень среднего игрока |
| Стратегия риска | Чрезмерная осторожность | Эксперты рискуют ради роста |
| Обучение в процессе | Отсутствует | Люди адаптируются к мета-игре |
Источник: arXiv cs.AI ↗