CI
cli-eval
Создавайте и запускайте наборы для оценки моделей, отслеживайте прогресс бенчмарков и сравнивайте результаты через CLI. Интегрируйте запуски eval в CI-пайплайны.
Что делает навык
cli-eval — это инструмент для создания, запуска и мониторинга наборов тестов (eval suites) для оценки моделей LLM через CLI. Он позволяет отслеживать прогресс бенчмарков в реальном времени, сравнивать производительность моделей и интегрировать проверки в CI-пайплайны.
Когда применять
- Автоматическая проверка качества ответов модели на основе заданных рубрик (exact-match, regex и др.)
- Сравнение результатов одной тестовой выборки на разных моделях (например, claude-sonnet-4-6 против gpt-4o)
- Мониторинг прогресса запуска тестов в терминале с помощью TUI-интерфейса
- Интеграция автоматических проверок в CI/CD пайплайны с падением сборки при снижении качества ниже порога
Как работает
- Создать набор тестов (suite) с помощью команды eval suites create, указав имя, рубрику (rubric) и файл с образцами (samples-file)
- Запустить оценку набора на конкретной модели через eval suites run, опционально используя флаг --watch для отслеживания прогресса
- Получить детали запуска и результаты через eval get, eval results или eval scorecard, указав runId
- При необходимости отменить текущий запуск с помощью eval cancel или проверить статус выполнения
- Использовать JSON-вывод для парсинга результатов (score, passed) в скриптах или CI-пайплайнах
Примеры запросов агенту
Создай набор тестов 'code-quality' с рубрикой exact-match, используя данные из файла ./samples.jsonl
Запусти оценку набора 'suite-123' на модели claude-sonnet-4-6 с отображением прогресса в реальном времени
Покажи детальный скорборд (scorecard) для запуска 'run-456' в формате JSON
Что понадобится
- Установленный CLI-инструмент omniroute (npm install -g omniroute)
- Локальная база данных для хранения наборов и результатов (управляется автоматически)
- Доступ к моделям через OmniRoute (верификация ID через omniroute models --search)
Описание составлено по SKILL.md навыка, сверено 22.10.2026.
Как подключить
1Скачать навык
# возьмите папку навыка «cheaper-inference-cli-eval» из репозитория:
# https://github.com/cheaper-inference/omniroute
2Положить папку с
SKILL.md к навыкам ассистента# положите папку навыка туда, где ассистент ищет skills:
cp -r cheaper-inference-cli-eval/ ~/.claude/skills/cheaper-inference-cli-eval/
Навык — папка с файлом SKILL.md (описание + инструкции) и опциональными скриптами. Ассистент (Claude, Claude Code и совместимые) подхватывает его по описанию и следует шагам.