GI
agentic-eval
Шаблоны оценки и улучшения результатов ИИ-агентов через самокритику, циклы рефлексии и системы LLM-as-judge. Пригодится для тест-драйв разработки, оценки кода и отчетов, а также для создания конвейеров evaluator-optimizer.
Что делает навык
Набор паттернов для самокритики и итеративного улучшения результатов ИИ-агентов через циклы генерации, оценки и рефлексии. Позволяет переходить от однократной генерации к конвейерам evaluator-optimizer для повышения точности.
Когда применять
- Генерация кода, отчетов или аналитики, требующих высокой точности
- Задачи с четкими критериями успеха и метриками качества
- Создание контента, соответствующего строгим стандартам (гайды, комплаенс, форматирование)
- Тест-драйв разработка с использованием тестов для проверки кода
- Создание конвейеров оценки и оптимизации (evaluator-optimizer)
Как работает
- Сгенерировать первоначальный вывод (output) на основе задачи
- Оценить вывод с помощью LLM-as-judge или рубрики, получив структурированный JSON с результатами PASS/FAIL или оценками
- Проверить соответствие критериям или порогу качества (score_threshold)
- Если критерии не выполнены, сгенерировать критику и инструкции по улучшению
- Улучшить вывод (refine) на основе полученной обратной связи
- Повторять цикл до достижения порога качества или исчерпания лимита итераций (max_iterations)
Примеры запросов агенту
Напиши Python-код для сортировки списка и проверь его с помощью pytest, исправляя ошибки до успешного прохождения тестов.
Оцени этот отчет по критериям точности и ясности, затем улучши его, чтобы общая оценка превысила 0.8.
Сгенерируй ответ на запрос, оцени его соответствие гайдлайнам стиля и исправь замечания в цикле рефлексии.
Что понадобится
- LLM-модель для генерации и оценки (LLM-as-judge)
- Инструмент для выполнения тестов (например, run_tests для кода)
- Библиотека json для парсинга структурированных ответов
Описание составлено по SKILL.md навыка, сверено 06.10.2026.
Как подключить
1Скачать навык
# возьмите папку навыка «agentic-eval» из репозитория:
# https://github.com/github/awesome-copilot
2Положить папку с
SKILL.md к навыкам ассистента# положите папку навыка туда, где ассистент ищет skills:
cp -r agentic-eval/ ~/.claude/skills/agentic-eval/
Навык — папка с файлом SKILL.md (описание + инструкции) и опциональными скриптами. Ассистент (Claude, Claude Code и совместимые) подхватывает его по описанию и следует шагам.