agent-eval
Оценивает качество извлечения данных CodeGraph в реальном кодебейзе, сравнивая поведение агента с использованием и без него. Применяется при запуске команды /agent-eval или запросах на тестирование, бенчмаркинг и аудит версии CodeGraph (локальной или npm) против репозитория языка.
Что делает навык
Skill оценивает качество извлечения данных CodeGraph в реальном кодебейзе, сравнивая поведение агента с использованием CodeGraph и без него (plain grep/read). Он запускает бенчмаркинг и аудит выбранной версии CodeGraph (локальной или npm) против репозитория языка для измерения эффективности извлечения.
Когда применять
- Тестирование и бенчмаркинг локальной или опубликованной версии CodeGraph.
- Аудит качества извлечения данных CodeGraph в реальном кодебейзе.
- Сравнение эффективности использования CodeGraph против стандартных инструментов чтения кода.
- Проверка корректности работы CodeGraph на репозиториях разных языков программирования.
Как работает
- Запросить у пользователя выбор версии CodeGraph (Local dev build, Latest published или конкретная версия) через AskUserQuestion.
- Прочитать .claude/skills/agent-eval/corpus.json и запросить выбор языка программирования.
- Предложить репозиторий выбранного языка с указанием размера и количества файлов, запросить выбор через AskUserQuestion.
- Запросить выбор режима запуска (Headless, Interactive (tmux) или Both) через AskUserQuestion.
- Запустить скрипт audit.sh в фоновом режиме с параметрами версии, имени репозитория, URL, вопроса и режима.
- После завершения прочитать логи, проанализировать метрики (стоимость, количество вызовов инструментов, вердикт) и отчитаться о результатах, обращая внимание на contamination row.
Примеры запросов агенту
Что понадобится
- tmux 3+, claude CLI, node, git (macOS/Linux)
- Запуск из корня репозитория codegraph
- Наличие репозитория codegraph с установленными зависимостями
Описание составлено по SKILL.md навыка, сверено 08.10.2026.
Как подключить
SKILL.md к навыкам ассистентаНавык — папка с файлом SKILL.md (описание + инструкции) и опциональными скриптами. Ассистент (Claude, Claude Code и совместимые) подхватывает его по описанию и следует шагам.