EEE и Community Evals: Новая эра прозрачности AI-оценок

В мире искусственного интеллекта оценка моделей (evaluations) — это не просто цифры в таблице. Это фундамент доверия. Исследователи, разработчики и политики полагаются на эти данные, чтобы понять, насколько безопасна, точна и полезна та или иная языковая модель. Однако долгое время этот процесс напоминал сбор пазла из разных коробок: результаты жили в научных статьях, логах хэринг-инструментов, блогах компаний и разрозненных лидербордах. Каждая запись имела свой формат, свои метрики и свою степень достоверности. Одна и та же модель, протестированная на одном и том же бенчмарке, могла показывать кардинально разные результаты в зависимости от того, кто и как именно проводил тестирование. Эта фрагментация создавала серьезный барьер для объективного сравнения и выбора лучших решений.

Ситуация начала меняться с запуском двух инициатив, которые теперь работают в тандеме: Every Eval Ever (EEE) от EvalEval Coalition и Hugging Face Community Evals. EEE, запущенный в феврале 2026 года, стал первым межучрежденческим усилием по стандартизации отчетности об оценках. Его цель — создать единый, машиночитаемый формат для хранения всех деталей эксперимента. В то же время Hugging Face Community Evals децентрализует процесс публикации этих оценок прямо на страницах моделей в Hub, позволяя сообществу верифицировать и агрегировать данные. Вместе они закрывают критические пробелы в доверии к AI-оценкам, делая их прозрачными, воспроизводимыми и легко интерпретируемыми.

01Проблема «шума» в оценках: почему старые методы не работают

Давайте разберем на конкретном примере. Возьмем модель LLaMA 65B. В разных источниках можно встретить два совершенно разных результата на бенчмарке MMLU: 63.7 и 48.8. Разница почти в 15 процентных пунктов — это не погрешность, это сигнал о том, что условия тестирования кардинально различались. Возможно, в одном случае использовалась другая версия генерации, другой набор промптов или даже другая версия самой модели. Без детальной документации этих настроек читатель не может понять, какой результат ближе к истине.

Проблема усугубляется тем, что одни и те же модели часто оцениваются разными группами с использованием разных инструментов. Логи запуска, скриншоты из лидербордов и цифры в статьях — всё это разрозненные данные. Воспроизведение этих тестов с нуля стоит сотни тысяч долларов, что делает невозможным регулярную проверку каждого опубликованного результата. Именно поэтому так важно не «потерять» данные после их генерации, а структурировать их так, чтобы они оставались доступными и интерпретируемыми для всех заинтересованных сторон.

02Что такое Every Eval Ever (EEE)? Единый стандарт данных

EEE — это ответ на вопрос «как задокументировать оценку так, чтобы её можно было проверить через год?». Это единая схема JSON, которая фиксирует не только итоговый балл, но и полный контекст эксперимента. В запись включается:

• Кто запускал тест: идентификатор исследователя или организации.
• Какая модель использовалась: точная ссылка на модель.
• Как она была доступна: через API, локально или через другой хаб.
• Настройки генерации: temperature, top_p, max_tokens и другие параметры.
• Смысл метрики: четкое описание того, что именно измеряет число.
• Дополнительные данные: рекомендуется прилагать файл JSONL с результатами по каждому образцу (per-sample outputs) для глубокого анализа.

Эта схема была разработана с учетом обратной связи от исследователей и политологов. Она универсальна: данные из логов harness, скрейпинг лидербордов или цифры из статей автоматически приводятся к одному виду. С момента запуска хранилище данных EEE на Hugging Face выросло до примерно 229 000 результатов оценок, охватывающих более 22 000 моделей и 2 200 бенчмарков. Эти данные собраны из 31 различных форматов отчетности. Такой объем структурированной информации позволяет исследователям не начинать с нуля, а опираться на уже существующие, проверенные данные.

03Hugging Face Community Evals: Децентрализация и верификация

Пока EEE занимается «глубиной» данных, Community Evals от Hugging Face занимается их «видимостью» и интеграцией в экосистему. Эта система состоит из двух основных частей:

1. Бенчмарки как датасеты: Каждый официальный бенчмарк живет в репозитории датасетов, который регистрируется через файл eval.yaml. Как только датасет зарегистрирован, его страница автоматически собирает и отображает лидерборд со всеми оценками, поданными против него на Hub.
2. Оценки моделей: Результаты тестов конкретной модели хранятся в файлах .eval_results/*.yaml внутри репозитория модели. Эти файлы отображаются на карточке модели (model card) и питают лидерборды соответствующих бенчмарков.

Ключевая особенность Community Evals — открытость. Любой пользователь может добавить оценку любой модели, открыв Pull Request (PR) с правильным YAML-файлом. При этом автор модели имеет право закрыть PR или скрыть результаты, если считает их некорректными. Важно отметить, что каждый балл получает бейдж, указывающий на его происхождение: авторская оценка, оценка сообщества или независимая верификация. Это создает прозрачную систему ответственности.

04Интеграция двух систем: Синергия EEE и Community Evals

Самое важное нововведение — это полная совместимость между EEE и Community Evals. Теперь исследователи могут отправлять свои результаты в оба места одновременно, и система автоматически свяжет их. Когда вы отправляете данные в EEE и Community Evals, происходит следующее:

Во-первых, ваш балл появляется на странице модели в Hugging Face и попадает в лидерборд бенчмарка. Во-вторых, к этому баллу добавляется «бейдж источника» (Source EvalEval badge), который ведет напрямую к полному JSON-записи в хранилище EEE. Там хранятся все детали: конфигурация генерации, версия harness, заметки о воспроизводимости и данные по отдельным образцам.

Таким образом, Hugging Face предоставляет «витрину», где люди видят результаты, а EEE предоставляет «подвал», где хранится вся техническая документация, делающая результат интерпретируемым. Это позволяет создать так называемые Eval Cards — интерактивные карточки, которые объединяют данные запуска EEE с метаданными бенчмарка и модели в один понятный отчет.

05Техническая сторона: Как работает конвертер

Для упрощения процесса интеграции был разработан специальный конвертер. Hugging Face хранит оценки в формате YAML с минимальным набором полей: идентификатор датасета, задача и значение. Поле source в этом YAML-файле отвечает за обратную ссылку на EEE.

Конвертер автоматически маппит поля из EEE-записи в формат Hugging Face:

• source_data.hf_repo → dataset.id
• evaluation_name → task_id
• score_details.score → value
• evaluation_timestamp → date

Кроме того, конвертер выполняет важную функцию аудита. Перед тем как что-либо отправить в репозиторий, он проверяет, какие оценки уже существуют в основной ветке или в открытых PR. Если оценка уже есть, она помечается как already_present. Если есть конфликт значений, система флагует score_conflict. Если репозиторий модели не найден на Hub, помечается как missing_hf_model. Все остальные записи помечаются как ready (готовы к отправке).

06Как начать использовать интеграцию

Для исследователей и организаций, желающих участвовать в новой экосистеме, процесс максимально автоматизирован. Основной инструмент — community eval converter tool, доступный в репозитории GitHub. Чтобы обработать коллекцию данных, достаточно выполнить следующую команду в терминале:

uv run tools/hf-community-evals/community_evals_converter.py MMLU-Pro \
  --datastore evaleval/EEE_datastore@main

После запуска вы получите отчет о том, какие записи готовы, а какие требуют внимания. Вы можете просмотреть превью файлов, проверить конфликты и, если всё в порядке, подтвердить отправку. Конвертер поддерживает работу с кэшированными результатами, что ускоряет повторные запуски, если вы используете флаг --force.

На данный момент конвертер поддерживает четыре официальных бенчмарка: MMLU-Pro, GPQA, HLE (Humanity's Last Exam) и GSM8K. Однако архитекма системы позволяет легко добавлять новые бенчмарки по мере их появления. Полная документация по схеме данных, CLI-инструментам и конвертерам доступна на сайте evalevalai.com/every_eval_ever/hf-community-evals.

07Что это значит на практике

Для практикующего специалиста по AI эта интеграция означает несколько ключевых преимуществ:

1. Доверие к данным: Теперь, глядя на оценку модели, вы можете кликнуть на бейдж и увидеть не просто цифру, а полный лог эксперимента. Вы можете проверить, не было ли подкручено temperature или использовался ли специфический few-shot prompt. Это снижает риск выбора модели на основе «испорченных» данных.
2. Экономия времени: Вам больше не нужно вручную переформатировать отчеты из своих инструментов оценки в YAML-файлы для Hugging Face. Конвертер делает это автоматически, сохраняя связь с исходными данными.
3. Верификация: Если вы отправляете данные через официальный аккаунт организации, ваши результаты получают отметку verified на EvalEval. Это мощный сигнал для сообщества о том, что цифры взяты напрямую из источника, а не скопированы из стороннего источника.
4. Стандартизация: Независимо от того, используете ли вы Python-скрипты, LangChain или другие фреймворки, ваши результаты будут приводиться к единому стандарту EEE. Это упрощает сравнение моделей, протестированных в разных лабораториях.

Интеграция Every Eval Ever и Hugging Face Community Evals — это не просто техническое обновление. Это шаг к культуре открытой и честной науки в области AI. Мы переходим от эпохи «черных ящиков» и непроверяемых лидербордов к эпохе, где каждый балл имеет историю, контекст и возможность быть проверенным. Для исследователей это возможность показать свою работу в лучшем свете, а для пользователей — инструмент, позволяющий принимать более обоснованные решения при выборе моделей.

Если вы еще не начали использовать EEE, сейчас самое время. Загрузите свои результаты в хранилище, используйте конвертер для публикации на Hugging Face и внесите свой вклад в создание более прозрачной экосистемы искусственного интеллекта. Документация и инструменты готовы к использованию прямо сейчас.

Источник: Hugging Face ↗