AIKraft/AI/Войти
AIKraft/Skills/google-agents-cli-eval

google-agents-cli-eval

Оценивает агентов через agents-cli eval run с метриками, датасетами и итеративным циклом исправлений. Подходит для анализа провалов, сравнения результатов и оптимизации агентов в рамках методологии Quality Flywheel.

GOGoogle official Разработка ★ 6k

Что делает навык

Оценивает агентов с помощью команды agents-cli eval run, объединяющей генерацию и проверку (grading) с использованием метрик и датасетов. Позволяет анализировать провалы, сравнивать результаты и оптимизировать агентов в рамках методологии Quality Flywheel.

Когда применять

  • Запуск базовой оценки агента с использованием готовых датасетов и конфигурации.
  • Анализ траекторий выполнения и совместимости метрик для встроенных инструментов (например, google_search).
  • Тестирование мультимодальных входов и динамических диалогов с симуляцией пользователя.
  • Использование продвинутых команд для анализа (analyze), оптимизации (optimize) и отправки результатов (submit).

Как работает

  1. Убедиться в наличии agents-cli (установить через uv tool install google-agents-cli) и проверить структуру проекта (tests/eval/ для Python или eval/ для Go).
  2. Выполнить базовую оценку командой agents-cli eval run, используя существующие датасеты из tests/eval/datasets/ и config из tests/eval/eval_config.yaml.
  3. Изучить справочные материалы: schema датасетов (dataset_schema.md), полные метрики (metrics-guide.md) и особенности инструментов (builtin-tools-eval.md).
  4. При необходимости применить продвинутые команды: eval analyze для детального разбора, eval optimize для улучшения или eval submit для отправки результатов.
  5. Для специфических случаев использовать режимы live-eval.md (для голосовых/живых агентов) или multimodal-eval.md (для мультимедиа), соблюдая ограничения встроенных метрик.

Примеры запросов агенту

Запусти оценку агента с помощью agents-cli eval run, используя стандартный датасет и конфигурацию.
Проверь совместимость метрик для агента, использующего инструмент google_search, согласно документации.
Проведи анализ провалов после запуска оценки и предложи оптимизации с помощью eval optimize.

Что понадобится

  • agents-cli (устанавливается через uv tool install google-agents-cli)
  • uv (необходим для установки cli)
  • Scaffolded проект с директориями tests/eval/ (Python) или eval/ (Go)

Описание составлено по SKILL.md навыка, сверено 05.10.2026.

Как подключить

1Скачать навык
# возьмите папку навыка «google-agents-cli-eval» из репозитория: # https://github.com/google/agents-cli
2Положить папку с SKILL.md к навыкам ассистента
# положите папку навыка туда, где ассистент ищет skills: cp -r google-agents-cli-eval/ ~/.claude/skills/google-agents-cli-eval/

Навык — папка с файлом SKILL.md (описание + инструкции) и опциональными скриптами. Ассистент (Claude, Claude Code и совместимые) подхватывает его по описанию и следует шагам.