AIKraft/Skills/agent-eval

agent-eval

Оценивает качество извлечения данных CodeGraph в реальном кодебейзе, сравнивая поведение агента с использованием и без него. Применяется при запуске команды /agent-eval или запросах на тестирование, бенчмаркинг и аудит версии CodeGraph (локальной или npm) против репозитория языка.

colbymchenry official Разработка ★ 73.3k

Что делает навык

Skill оценивает качество извлечения данных CodeGraph в реальном кодебейзе, сравнивая поведение агента с использованием CodeGraph и без него (plain grep/read). Он запускает бенчмаркинг и аудит выбранной версии CodeGraph (локальной или npm) против репозитория языка для измерения эффективности извлечения.

Когда применять

  • Тестирование и бенчмаркинг локальной или опубликованной версии CodeGraph.
  • Аудит качества извлечения данных CodeGraph в реальном кодебейзе.
  • Сравнение эффективности использования CodeGraph против стандартных инструментов чтения кода.
  • Проверка корректности работы CodeGraph на репозиториях разных языков программирования.

Как работает

  1. Запросить у пользователя выбор версии CodeGraph (Local dev build, Latest published или конкретная версия) через AskUserQuestion.
  2. Прочитать .claude/skills/agent-eval/corpus.json и запросить выбор языка программирования.
  3. Предложить репозиторий выбранного языка с указанием размера и количества файлов, запросить выбор через AskUserQuestion.
  4. Запросить выбор режима запуска (Headless, Interactive (tmux) или Both) через AskUserQuestion.
  5. Запустить скрипт audit.sh в фоновом режиме с параметрами версии, имени репозитория, URL, вопроса и режима.
  6. После завершения прочитать логи, проанализировать метрики (стоимость, количество вызовов инструментов, вердикт) и отчитаться о результатах, обращая внимание на contamination row.

Примеры запросов агенту

Запусти аудит качества CodeGraph для локальной сборки на TypeScript.
Проведи бенчмаркинг последней версии CodeGraph на Python с использованием режима tmux.
Оцени эффективность извлечения данных CodeGraph для версии 0.7.10 на JavaScript репозитории.

Что понадобится

  • tmux 3+, claude CLI, node, git (macOS/Linux)
  • Запуск из корня репозитория codegraph
  • Наличие репозитория codegraph с установленными зависимостями

Описание составлено по SKILL.md навыка, сверено 08.10.2026.

Как подключить

1Скачать навык
# возьмите папку навыка «colbymchenry-agent-eval» из репозитория: # https://github.com/colbymchenry/codegraph
2Положить папку с SKILL.md к навыкам ассистента
# положите папку навыка туда, где ассистент ищет skills: cp -r colbymchenry-agent-eval/ ~/.claude/skills/colbymchenry-agent-eval/

Навык — папка с файлом SKILL.md (описание + инструкции) и опциональными скриптами. Ассистент (Claude, Claude Code и совместимые) подхватывает его по описанию и следует шагам.