agent-evaluation
Оценивает поведение агента с помощью версионированных кейсов и явных верификаторов. Применяется при сравнении агентов или изменений промптов, воспроизведении сбоев и запуске регрессионных тестов.
AIsickn33
official
Разработка
★ 47.3k
Что делает навык
Навык оценивает наблюдаемое поведение агента на основе версионированных кейсов с явными ожидаемыми результатами и границами разрешений. Он предназначен для объективного сравнения различных конфигураций агентов или выявления регрессий.
Когда применять
- Сравнение измененного агента, промпта или конфигурации инструментов с базовой версией.
- Воспроизведение и анализ наблюдаемых сбоев в работе агента.
- Оценка надежности агента на заявленном распределении задач.
- Запуск регрессионных тестов при обновлении модели или промптов.
Как работает
- Подготовить версионированный набор кейсов с ожидаемыми наблюдаемыми результатами и границами разрешений.
- Задать известную базовую версию и версию-кандидат, включая модели, промпты, инструменты и конфигурации.
- Использовать авторизованные синтетические или обезличенные входные данные в изолированной среде.
- Настроить верификатор, который различает неверные результаты, ожидаемые безопасные отказы, ошибки оценщика и сбои инфраструктуры.
- Запустить выполнение с ограниченным бюджетом токенов, времени и стоимости.
- Сравнить результаты кандидата с базовой версией или ожидаемыми показателями.
Примеры запросов агенту
Запусти оценку поведения агента на наборе кейсов v2.1, сравнив текущий промпт с базовой версией.
Проверь, как новая конфигурация инструментов влияет на надежность агента, используя изолированные тестовые данные.
Воспроизведи сбой при обработке запроса X, запустив регрессионный тест с верификатором ошибок.
Что понадобится
- Версионированный набор кейсов с ожидаемыми результатами.
- Доступ к модели, промптам, инструментам и конфигурациям для сравнения.
- Авторизованные синтетические или обезличенные входные данные.
Описание составлено по SKILL.md навыка, сверено 08.10.2026.
Как подключить
1Скачать навык
# возьмите папку навыка «sickn33-agent-evaluation» из репозитория:
# https://github.com/sickn33/agentic-awesome-skills
2Положить папку с
SKILL.md к навыкам ассистента# положите папку навыка туда, где ассистент ищет skills:
cp -r sickn33-agent-evaluation/ ~/.claude/skills/sickn33-agent-evaluation/
Навык — папка с файлом SKILL.md (описание + инструкции) и опциональными скриптами. Ассистент (Claude, Claude Code и совместимые) подхватывает его по описанию и следует шагам.