AIKraft/Skills/agentic-eval

agentic-eval

Шаблоны оценки и улучшения результатов ИИ-агентов через самокритику, циклы рефлексии и системы LLM-as-judge. Пригодится для тест-драйв разработки, оценки кода и отчетов, а также для создания конвейеров evaluator-optimizer.

GIGitHub official Разработка ★ 39.7k

Что делает навык

Набор паттернов для самокритики и итеративного улучшения результатов ИИ-агентов через циклы генерации, оценки и рефлексии. Позволяет переходить от однократной генерации к конвейерам evaluator-optimizer для повышения точности.

Когда применять

  • Генерация кода, отчетов или аналитики, требующих высокой точности
  • Задачи с четкими критериями успеха и метриками качества
  • Создание контента, соответствующего строгим стандартам (гайды, комплаенс, форматирование)
  • Тест-драйв разработка с использованием тестов для проверки кода
  • Создание конвейеров оценки и оптимизации (evaluator-optimizer)

Как работает

  1. Сгенерировать первоначальный вывод (output) на основе задачи
  2. Оценить вывод с помощью LLM-as-judge или рубрики, получив структурированный JSON с результатами PASS/FAIL или оценками
  3. Проверить соответствие критериям или порогу качества (score_threshold)
  4. Если критерии не выполнены, сгенерировать критику и инструкции по улучшению
  5. Улучшить вывод (refine) на основе полученной обратной связи
  6. Повторять цикл до достижения порога качества или исчерпания лимита итераций (max_iterations)

Примеры запросов агенту

Напиши Python-код для сортировки списка и проверь его с помощью pytest, исправляя ошибки до успешного прохождения тестов.
Оцени этот отчет по критериям точности и ясности, затем улучши его, чтобы общая оценка превысила 0.8.
Сгенерируй ответ на запрос, оцени его соответствие гайдлайнам стиля и исправь замечания в цикле рефлексии.

Что понадобится

  • LLM-модель для генерации и оценки (LLM-as-judge)
  • Инструмент для выполнения тестов (например, run_tests для кода)
  • Библиотека json для парсинга структурированных ответов

Описание составлено по SKILL.md навыка, сверено 06.10.2026.

Как подключить

1Скачать навык
# возьмите папку навыка «agentic-eval» из репозитория: # https://github.com/github/awesome-copilot
2Положить папку с SKILL.md к навыкам ассистента
# положите папку навыка туда, где ассистент ищет skills: cp -r agentic-eval/ ~/.claude/skills/agentic-eval/

Навык — папка с файлом SKILL.md (описание + инструкции) и опциональными скриптами. Ассистент (Claude, Claude Code и совместимые) подхватывает его по описанию и следует шагам.