AIKraft/AI/Войти
AIKraft/Skills/deepeval

deepeval

DeepEval для оценки и улучшения AI-агентов, RAG и LLM-приложений. Используйте при необходимости добавить тесты, сгенерировать датасеты, запустить тесты через CLI или SDK, отправить результаты в Confident AI и проанализировать трейсы. Не используйте для обычного pytest или базового OpenTelemetry.

CAConfident AI official Разработка ★ 18.6k

Что делает навык

DeepEval добавляет цикл оценки (eval loop) для AI-агентов, RAG и LLM-приложений: инструментация, создание датасетов, запуск тестов через pytest и итерации над ошибками. Используется для оценки качества и улучшения работы приложений, а не для обычного тестирования или базового OpenTelemetry.

Когда применять

  • Оценка и улучшение RAG-систем или LLM-приложений через end-to-end тесты.
  • Создание и запуск тестовых наборов для чатботов и многошаговых агентов.
  • Генерация синтетических датасетов (goldens) на основе документации или контекста.
  • Анализ провалов тестов с использованием трейсов и метрик (включая Confident AI).

Как работает

  1. Определите тип приложения (chatbot/multi-turn agent, agent или RAG) и проверьте наличие существующих метрик DeepEval.
  2. Задайте вводные вопросы (интеграция с Confident AI, источник датасета, необходимость трейсинга) и выберите шаблон теста.
  3. Подготовьте датасет: используйте существующий или сгенерируйте goldens командой deepeval generate.
  4. Инструментируйте приложение для трейсинга (через deepeval-tracing) и создайте pytest-файл теста, используя метрики из metrics.py.
  5. Запустите тесты командой deepeval test run и проанализируйте результаты.
  6. Повторите цикл (итерации) для исправления ошибок и улучшения показателей.

Примеры запросов агенту

Добавь цикл оценки для моего RAG-приложения: сгенерируй датасет из документации и запусти тесты.
Настрой end-to-end тесты для чатбота с многошаговым взаимодействием, используя трейсинг и Confident AI.
Запусти оценку агента через DeepEval, проанализируй провалы тестов и предложи улучшения на основе метрик.

Что понадобится

  • Python 3.9+ и установленный пакет deepeval.
  • Креденшиалы модели для метрик и генерации данных.
  • Логин в Confident AI для хостинга отчетов и онлайн-оценок.

Описание составлено по SKILL.md навыка, сверено 06.10.2026.

Как подключить

1Скачать навык
# возьмите папку навыка «deepeval» из репозитория: # https://github.com/confident-ai/deepeval
2Положить папку с SKILL.md к навыкам ассистента
# положите папку навыка туда, где ассистент ищет skills: cp -r deepeval/ ~/.claude/skills/deepeval/

Навык — папка с файлом SKILL.md (описание + инструкции) и опциональными скриптами. Ассистент (Claude, Claude Code и совместимые) подхватывает его по описанию и следует шагам.