StarSkirmish Bench

StarSkirmish Bench — это специализированный тест, оценивающий возможности больших языковых моделей (LLM) в области агентного программирования. В рамках теста модели получают один час на написание бота для игры StarCraft: Brood War на C++, который затем тестируется в реальных матчах.

Актуальная версия v0.2 включает результаты флагманских моделей от OpenAI, Anthropic, Google и Meta. Оценка строится на проценте побед против набора известных ботов, написанных людьми. Тест проверяет способность моделей к долгосрочному планированию и улучшению кода на основе опыта, полученного в ходе тренировочных игр.

Исследование выявило, что лучший результат показал GPT-6 Astra, за ним следуют Gemini 4 Argon и Claude Opus 5.5. При этом даже самые сильные модели пока значительно уступают лучшим человеческим ботам, выигрывая лишь около 7% матчей против топовых соперников. Также анализируется зависимость результата от количества проведенных моделью тренировочных игр.

Проект полезен для исследователей и разработчиков, интересующихся сравнением эффективности LLM в сложных задачах программирования и принятия решений. Данные помогают понять текущие пределы возможностей ИИ в создании автономных агентов, способных адаптироваться к динамичной среде.