AIKraft/Skills/cli-eval

cli-eval

cli-eval позволяет создавать и запускать наборы тестов, отслеживать прогресс бенчмарков в реальном времени, просматривать скорборды и сравнивать производительность моделей через CLI. Полезно для интеграции процессов оценки в CI-пайплайны.

diegosouzapw official Разработка ★ 73.8k

Что делает навык

cli-eval предоставляет CLI-инструмент для создания, запуска и мониторинга наборов тестов (eval suites) для оценки качества ответов LLM. Он позволяет отслеживать прогресс бенчмарков в реальном времени, просматривать скорборды и сравнивать производительность различных моделей.

Когда применять

  • Автоматизация тестирования моделей в CI/CD пайплайнах с проверкой падения качества ниже порога
  • Сравнение производительности нескольких моделей (например, claude-sonnet-4-6 и gpt-4o) на одном наборе данных
  • Мониторинг прогресса длительных тестов в реальном времени через терминальный интерфейс (TUI)
  • Анализ детальных результатов тестирования по каждому образцу (sample) для выявления ошибок

Как работает

  1. Установить CLI-инструмент omniroute глобально через npm или использовать npx
  2. Создать набор тестов (suite) с указанием имени, рубрики (rubric) и файла с образцами (samples-file) в формате JSONL
  3. Запустить выполнение теста (run) для конкретного suite и модели, опционально используя флаг --watch для отслеживания прогресса
  4. Получить статус и детали выполнения через команды eval get или poll до завершения задачи
  5. Просмотреть итоговый скорборд (scorecard) или детальные результаты (results) по идентификатору запуска (runId)
  6. При необходимости отменить текущий запуск с помощью команды eval cancel

Примеры запросов агенту

Создай набор тестов для проверки качества кода с рубрикой exact-match, используя файл ./samples.jsonl
Запусти тестирование созданного набора на модели claude-sonnet-4-6 с отображением прогресса в реальном времени
Сравни результаты выполнения одного набора тестов на моделях gpt-4o и gemini-2.0-flash, выведя их оценки

Что понадобится

  • Установленный CLI-инструмент omniroute (через npm install -g omniroute)
  • Локальная база данных для хранения наборов тестов и результатов запусков
  • Доступ к моделям LLM через OmniRoute (верификация ID моделей через omniroute models --search)

Описание составлено по SKILL.md навыка, сверено 08.10.2026.

Как подключить

1Скачать навык
# возьмите папку навыка «cli-eval» из репозитория: # https://github.com/diegosouzapw/omniroute
2Положить папку с SKILL.md к навыкам ассистента
# положите папку навыка туда, где ассистент ищет skills: cp -r cli-eval/ ~/.claude/skills/cli-eval/

Навык — папка с файлом SKILL.md (описание + инструкции) и опциональными скриптами. Ассистент (Claude, Claude Code и совместимые) подхватывает его по описанию и следует шагам.