PacBench
Бенчмарк для оценки способности ИИ-моделей создавать игру Pac-Man с одного промпта.
Что это
PacBench — это специализированный тест для проверки возможностей языковых моделей в генерации программного кода. Главная задача модели — создать полностью рабочую игру Pac-Man в одном HTML-файле, используя только один запрос без возможности исправлений или уточнений.
Тест оценивает способность ИИ-инструментов и их обвязки (harness) самостоятельно решать сложную задачу. В бенчмарке участвуют различные модели, включая Claude, Gemini, GPT-6 Codex и Grok. Результаты включают метрики стоимости, времени выполнения, количества токенов и размера итогового файла.
Данные собираются через открытые платформы, такие как OpenRouter, и фиксируются в публичном репозитории. Это позволяет разработчикам и исследователям сравнивать эффективность разных провайдеров в задачах на создание самодостаточных веб-приложений.
Инструмент полезен для оценки реальных навыков генерации кода у современных ИИ-ассистентов. Он демонстрирует, насколько хорошо модели справляются с комплексными требованиями без итеративного взаимодействия с пользователем.