cli-eval
cli-eval позволяет создавать и запускать наборы тестов, отслеживать прогресс бенчмарков в реальном времени, просматривать скорборды и сравнивать производительность моделей через CLI. Полезно для интеграции процессов оценки в CI-пайплайны.
AIdiegosouzapw
official
Разработка
★ 73.8k
Что делает навык
cli-eval предоставляет CLI-инструмент для создания, запуска и мониторинга наборов тестов (eval suites) для оценки качества ответов LLM. Он позволяет отслеживать прогресс бенчмарков в реальном времени, просматривать скорборды и сравнивать производительность различных моделей.
Когда применять
- Автоматизация тестирования моделей в CI/CD пайплайнах с проверкой падения качества ниже порога
- Сравнение производительности нескольких моделей (например, claude-sonnet-4-6 и gpt-4o) на одном наборе данных
- Мониторинг прогресса длительных тестов в реальном времени через терминальный интерфейс (TUI)
- Анализ детальных результатов тестирования по каждому образцу (sample) для выявления ошибок
Как работает
- Установить CLI-инструмент omniroute глобально через npm или использовать npx
- Создать набор тестов (suite) с указанием имени, рубрики (rubric) и файла с образцами (samples-file) в формате JSONL
- Запустить выполнение теста (run) для конкретного suite и модели, опционально используя флаг --watch для отслеживания прогресса
- Получить статус и детали выполнения через команды eval get или poll до завершения задачи
- Просмотреть итоговый скорборд (scorecard) или детальные результаты (results) по идентификатору запуска (runId)
- При необходимости отменить текущий запуск с помощью команды eval cancel
Примеры запросов агенту
Создай набор тестов для проверки качества кода с рубрикой exact-match, используя файл ./samples.jsonl
Запусти тестирование созданного набора на модели claude-sonnet-4-6 с отображением прогресса в реальном времени
Сравни результаты выполнения одного набора тестов на моделях gpt-4o и gemini-2.0-flash, выведя их оценки
Что понадобится
- Установленный CLI-инструмент omniroute (через npm install -g omniroute)
- Локальная база данных для хранения наборов тестов и результатов запусков
- Доступ к моделям LLM через OmniRoute (верификация ID моделей через omniroute models --search)
Описание составлено по SKILL.md навыка, сверено 08.10.2026.
Как подключить
1Скачать навык
# возьмите папку навыка «cli-eval» из репозитория:
# https://github.com/diegosouzapw/omniroute
2Положить папку с
SKILL.md к навыкам ассистента# положите папку навыка туда, где ассистент ищет skills:
cp -r cli-eval/ ~/.claude/skills/cli-eval/
Навык — папка с файлом SKILL.md (описание + инструкции) и опциональными скриптами. Ассистент (Claude, Claude Code и совместимые) подхватывает его по описанию и следует шагам.