validate-evaluator
Калибрует LLM-судью по человеческим меткам через сплиты данных, TPR/TNR и коррекцию смещения. Применяйте после написания промпта (write-judge-prompt) для проверки соответствия перед использованием. Не подходит для кодовых оценщиков (для них используйте unit-тесты из write-code-eval).
AIai-evals-course
official
Данные
★ 1.5k
Что делает навык
Калибрует LLM-судью по человеческим меткам через сплиты данных, TPR/TNR и коррекцию смещения. Применяйте после написания промпта (write-judge-prompt) для проверки соответствия перед использованием. Не подходит для кодовых оценщиков (для них используйте unit-тесты из write-code-eval).
Как подключить
1Скачать навык
# возьмите папку навыка «validate-evaluator» из репозитория:
# https://github.com/ai-evals-course/evals-skills
2Положить папку с
SKILL.md к навыкам ассистента# положите папку навыка туда, где ассистент ищет skills:
cp -r validate-evaluator/ ~/.claude/skills/validate-evaluator/
Навык — папка с файлом SKILL.md (описание + инструкции) и опциональными скриптами. Ассистент (Claude, Claude Code и совместимые) подхватывает его по описанию и следует шагам.