AIKraft/AI/Войти
AIKraft/Skills/Оценка RAG

Оценка RAG

Filesystem RAG benchmarks: corpus/, train.json, evaluate_rag.py (RAGAS quality). Not for prod monitoring, latency/throughput benchmarking (use rag-perf), or evals outside this repo layout.

nvidia official Другое

Что делает навык

Набор инструментов для офлайн-оценки качества RAG-систем с использованием метрик RAGAS. Позволяет готовить датасеты (corpus/, train.json), запускать скрипт evaluate_rag.py, настраивать параметры поиска и генерации, интерпретировать JSON-отчёты и диагностировать ошибки (HTTP, пустые контексты, несовпадение коллекций).

Когда применять

  • Запуск бенчмарков качества RAG на локальных данных с использованием структуры corpus/ и train.json
  • Сравнение эффективности различных конфигураций поиска и генерации через оценку RAGAS
  • Диагностика сбоев при оценке, таких как ошибки HTTP, отсутствие контекста или проблемы с API судьи
  • Анализ JSON-вывода скрипта evaluate_rag.py для выявления слабых мест в пайплайне RAG

Как работает

  1. Подготовить окружение: склонировать репозиторий, установить Python 3.11+ и uv, выполнить uv sync --project scripts/eval
  2. Обеспечить доступность RAG-сервера и ингестора (по умолчанию localhost:8081 / 8082) и задать NVIDIA_API_KEY
  3. Подготовить корневые каталоги датасетов, содержащие папку corpus/ и файл train.json
  4. Запустить скрипт scripts/eval/evaluate_rag.py с указанием путей к датасетам через --dataset-paths
  5. Настроить флаги для поиска и генерации для сравнения качества различных конфигураций
  6. Проанализировать JSON-вывод и устранить выявленные ошибки (например, несовпадение коллекций или ошибки API)

Примеры запросов агенту

Запусти оценку качества RAG для датасета в папке /data/dataset, используя метрики RAGAS
Проанализируй JSON-отчёт из evaluate_rag.py и найди причины пустых контекстов
Настрой параметры поиска и генерации для сравнения качества RAG на основе train.json

Что понадобится

  • Python 3.11+ и uv (с установкой зависимостей через uv sync --project scripts/eval)
  • Доступный RAG-сервер и ингестор (по умолчанию localhost:8081 / 8082)
  • NVIDIA_API_KEY для RAGAS (опционально RAG_EVAL_JUDGE_MODEL)

Описание составлено по SKILL.md навыка, сверено 05.10.2026.

Как подключить

1Скачать навык
# возьмите папку навыка «rag-eval» из репозитория: # https://github.com/nvidia/skills
2Положить папку с SKILL.md к навыкам ассистента
# положите папку навыка туда, где ассистент ищет skills: cp -r rag-eval/ ~/.claude/skills/rag-eval/

Навык — папка с файлом SKILL.md (описание + инструкции) и опциональными скриптами. Ассистент (Claude, Claude Code и совместимые) подхватывает его по описанию и следует шагам.