AIKraft/AI/Войти
AIKraft/Skills/nemo-evaluator-sdk

nemo-evaluator-sdk

Оценивает LLM по более чем 100 бенчмаркам из 18+ наборов инструментов (MMLU, HumanEval, GSM8K, безопасность, VLM) с выполнением через несколько бэкендов. Используйте, когда требуется масштабируемая оценка на локальном Docker, Slurm HPC или облачных платформах. Предприятие-платформа NVIDIA с архитектурой, ориентированной на контейнеры, для воспроизводимого бенчмаркинга.

orchestra-research official Другое

Что делает навык

Оценивает LLM по более чем 100 бенчмаркам из 18+ наборов инструментов (MMLU, HumanEval, GSM8K, безопасность, VLM) с выполнением через несколько бэкендов. Используйте, когда требуется масштабируемая оценка на локальном Docker, Slurm HPC или облачных платформах. Предприятие-платформа NVIDIA с архитектурой, ориентированной на контейнеры, для воспроизводимого бенчмаркинга.

Как подключить

1Скачать навык
# возьмите папку навыка «nemo-evaluator-sdk» из репозитория: # https://github.com/orchestra-research/ai-research-skills
2Положить папку с SKILL.md к навыкам ассистента
# положите папку навыка туда, где ассистент ищет skills: cp -r nemo-evaluator-sdk/ ~/.claude/skills/nemo-evaluator-sdk/

Навык — папка с файлом SKILL.md (описание + инструкции) и опциональными скриптами. Ассистент (Claude, Claude Code и совместимые) подхватывает его по описанию и следует шагам.