AIKraft/Skills/cli-eval

cli-eval

Создавайте и запускайте наборы для оценки моделей, отслеживайте прогресс бенчмарков и сравнивайте результаты через CLI. Интегрируйте запуски eval в CI-пайплайны.

CICheaper Inference official Разработка ★ 79.4k

Что делает навык

cli-eval — это инструмент для создания, запуска и мониторинга наборов тестов (eval suites) для оценки моделей LLM через CLI. Он позволяет отслеживать прогресс бенчмарков в реальном времени, сравнивать производительность моделей и интегрировать проверки в CI-пайплайны.

Когда применять

  • Автоматическая проверка качества ответов модели на основе заданных рубрик (exact-match, regex и др.)
  • Сравнение результатов одной тестовой выборки на разных моделях (например, claude-sonnet-4-6 против gpt-4o)
  • Мониторинг прогресса запуска тестов в терминале с помощью TUI-интерфейса
  • Интеграция автоматических проверок в CI/CD пайплайны с падением сборки при снижении качества ниже порога

Как работает

  1. Создать набор тестов (suite) с помощью команды eval suites create, указав имя, рубрику (rubric) и файл с образцами (samples-file)
  2. Запустить оценку набора на конкретной модели через eval suites run, опционально используя флаг --watch для отслеживания прогресса
  3. Получить детали запуска и результаты через eval get, eval results или eval scorecard, указав runId
  4. При необходимости отменить текущий запуск с помощью eval cancel или проверить статус выполнения
  5. Использовать JSON-вывод для парсинга результатов (score, passed) в скриптах или CI-пайплайнах

Примеры запросов агенту

Создай набор тестов 'code-quality' с рубрикой exact-match, используя данные из файла ./samples.jsonl
Запусти оценку набора 'suite-123' на модели claude-sonnet-4-6 с отображением прогресса в реальном времени
Покажи детальный скорборд (scorecard) для запуска 'run-456' в формате JSON

Что понадобится

  • Установленный CLI-инструмент omniroute (npm install -g omniroute)
  • Локальная база данных для хранения наборов и результатов (управляется автоматически)
  • Доступ к моделям через OmniRoute (верификация ID через omniroute models --search)

Описание составлено по SKILL.md навыка, сверено 22.10.2026.

Как подключить

1Скачать навык
# возьмите папку навыка «cheaper-inference-cli-eval» из репозитория: # https://github.com/cheaper-inference/omniroute
2Положить папку с SKILL.md к навыкам ассистента
# положите папку навыка туда, где ассистент ищет skills: cp -r cheaper-inference-cli-eval/ ~/.claude/skills/cheaper-inference-cli-eval/

Навык — папка с файлом SKILL.md (описание + инструкции) и опциональными скриптами. Ассистент (Claude, Claude Code и совместимые) подхватывает его по описанию и следует шагам.