AIKraft/AI/Войти
AIKraft/Skills/adk-eval-guide

adk-eval-guide

Обязательно к прочтению перед запуском любой оценки ADK. Описывает методологию: метрики, схему evalset, LLM-as-judge, оценку траекторий инструментов и типичные ошибки. Используйте при оценке качества агента, запуске adk eval или отладке результатов. Не подходит для кода API, деплоя или создания проектов.

google official Разработка ★ 1.5k

Что делает навык

Методологическое руководство по проведению оценки (eval) агентов в ADK, описывающее метрики, структуру evalset, использование LLM-as-judge и анализ траекторий. Предназначено для отладки результатов и проверки качества агента, а не для написания кода или деплоя.

Когда применять

  • Запуск оценки качества агента с помощью команды adk eval или make eval
  • Отладка результатов оценки и анализ типичных ошибок
  • Настройка метрик и конфигурации judge model для оценки траекторий
  • Тестирование динамических диалогов с использованием user simulator
  • Оценка работы с мультимодальными входами и встроенными инструментами

Как работает

  1. Проверить, создан ли проект через /adk-scaffold: если да, использовать make eval, иначе запустить adk eval напрямую
  2. Изучить references/criteria-guide.md для понимания 8 критериев, типов совпадений и настройки judge model
  3. При необходимости динамического тестирования диалогов использовать references/user-simulation.md для настройки ConversationScenario
  4. Для оценки работы с google_search и внутренними инструментами обратиться к references/builtin-tools-eval.md
  5. При работе с мультимодальными данными использовать references/multimodal-eval.md для схемы evalset и кастомных эвалюаторов
  6. Итеративно улучшать агента на основе результатов оценки (Eval-Fix Loop)

Примеры запросов агенту

Запусти оценку моего агента с помощью make eval и покажи результаты
Как настроить LLM-as-judge для оценки ответов агента по 8 критериям?
Проверь совместимость метрик для оценки траектории использования google_search

Что понадобится

  • Проект ADK, созданный через /adk-scaffold (для make eval) или установленный ADK (для adk eval)
  • Доступ к файлам репозитория adk-docs, включая папку references

Описание составлено по SKILL.md навыка, сверено 07.10.2026.

Как подключить

1Скачать навык
# возьмите папку навыка «adk-eval-guide» из репозитория: # https://github.com/google/adk-docs
2Положить папку с SKILL.md к навыкам ассистента
# положите папку навыка туда, где ассистент ищет skills: cp -r adk-eval-guide/ ~/.claude/skills/adk-eval-guide/

Навык — папка с файлом SKILL.md (описание + инструкции) и опциональными скриптами. Ассистент (Claude, Claude Code и совместимые) подхватывает его по описанию и следует шагам.