AIKraft/Skills/agent-evaluation

agent-evaluation

Оценивает поведение агента с помощью версионированных кейсов и явных верификаторов. Применяется при сравнении агентов или изменений промптов, воспроизведении сбоев и запуске регрессионных тестов.

sickn33 official Разработка ★ 47.3k

Что делает навык

Навык оценивает наблюдаемое поведение агента на основе версионированных кейсов с явными ожидаемыми результатами и границами разрешений. Он предназначен для объективного сравнения различных конфигураций агентов или выявления регрессий.

Когда применять

  • Сравнение измененного агента, промпта или конфигурации инструментов с базовой версией.
  • Воспроизведение и анализ наблюдаемых сбоев в работе агента.
  • Оценка надежности агента на заявленном распределении задач.
  • Запуск регрессионных тестов при обновлении модели или промптов.

Как работает

  1. Подготовить версионированный набор кейсов с ожидаемыми наблюдаемыми результатами и границами разрешений.
  2. Задать известную базовую версию и версию-кандидат, включая модели, промпты, инструменты и конфигурации.
  3. Использовать авторизованные синтетические или обезличенные входные данные в изолированной среде.
  4. Настроить верификатор, который различает неверные результаты, ожидаемые безопасные отказы, ошибки оценщика и сбои инфраструктуры.
  5. Запустить выполнение с ограниченным бюджетом токенов, времени и стоимости.
  6. Сравнить результаты кандидата с базовой версией или ожидаемыми показателями.

Примеры запросов агенту

Запусти оценку поведения агента на наборе кейсов v2.1, сравнив текущий промпт с базовой версией.
Проверь, как новая конфигурация инструментов влияет на надежность агента, используя изолированные тестовые данные.
Воспроизведи сбой при обработке запроса X, запустив регрессионный тест с верификатором ошибок.

Что понадобится

  • Версионированный набор кейсов с ожидаемыми результатами.
  • Доступ к модели, промптам, инструментам и конфигурациям для сравнения.
  • Авторизованные синтетические или обезличенные входные данные.

Описание составлено по SKILL.md навыка, сверено 08.10.2026.

Как подключить

1Скачать навык
# возьмите папку навыка «sickn33-agent-evaluation» из репозитория: # https://github.com/sickn33/agentic-awesome-skills
2Положить папку с SKILL.md к навыкам ассистента
# положите папку навыка туда, где ассистент ищет skills: cp -r sickn33-agent-evaluation/ ~/.claude/skills/sickn33-agent-evaluation/

Навык — папка с файлом SKILL.md (описание + инструкции) и опциональными скриптами. Ассистент (Claude, Claude Code и совместимые) подхватывает его по описанию и следует шагам.