EleutherAI/lm-evaluation-harness

Что это за инструмент

lm-evaluation-harness — это фреймворк для стандартизированной оценки языковых моделей (LLM) на множестве академических бенчмарков.

Зачем нужен

Инструмент позволяет объективно измерить качество работы моделей, поддерживая few-shot обучение и воспроизводимые тесты. Он полезен для сравнения различных архитектур, проверки эффективности адаптеров (например, LoRA) и обеспечения совместимости результатов с открытыми рейтингами, такими как Hugging Face Open LLM Leaderboard.

Что можно реализовать

• Сравнение производительности локальных моделей (через transformers или vLLM) с коммерческими API (OpenAI, Anthropic).
• Оценка качества дообученных моделей с использованием адаптеров PEFT (например, LoRA) на стандартных наборах данных.
• Участие в рейтингах типа Open LLM Leaderboard с использованием официальных задач и метрик.
• Создание пользовательских задач оценки с помощью YAML-конфигураций и шаблонов Jinja2.
• Тестирование мультимодальных моделей (текст+изображение) через прототипные задачи, такие как mmmu.

Ключевые возможности

• Поддержка более 60 академических бенчмарков и сотен подзадач.
• Гибкая интеграция бэкендов: HuggingFace transformers, vLLM, SGLang, а также коммерческие API.
• Конфигурационное управление через YAML и CLI с подкомандами (run, ls, validate).
• Поддержка продвинутых функций: CoT reasoning traces, steering HF-моделей и асинхронные запросы к API.
• Использование в качестве бэкенда для Hugging Face Open LLM Leaderboard.

👤 Кому подойдёт: ML-инженеры, AI-исследователи, разработчики LLM-приложений, оценивающие качество моделей.