AIKraft Agents
Главная/Блог/Гайд/Как правильно оценивать LLM: полное…
Гайд9 мин чтения · 12 ноября 2026 г.

Как правильно оценивать LLM: полное руководство по бенчмаркингу

Разбираем методологию OpenRouter: как создавать собственные тесты, писать код-грейдеры и сравнивать модели на реальных задачах, а не на абстрактных метриках.

Как правильно оценивать LLM: полное руководство по бенчмаркингу

В эпоху, когда новые большие языковые модели (LLM) появляются каждый день, вопрос выбора лучшего инструмента для бизнеса становится критическим. Публичные рейтинги, такие как LMSYS Chatbot Arena, дают общее представление о качестве моделей, но они часто не отражают специфику ваших конкретных задач. Модель, которая отлично справляется с генерацией стихов, может полностью провалиться в извлечении структурированных данных из счетов-фактур. Именно поэтому профессиональные команды разработчиков и AI-инженеры переходят от слепого доверия к публичным спискам к созданию собственных, внутренних бенчмарков.

В этой статье мы подробно разберем методологию, которую использует платформа OpenRouter для оценки моделей. Это не просто теория, а практическое руководство, основанное на реальном опыте тестирования сотен задач. Мы покажем, как правильно формулировать задачи, писать код для автоматической проверки ответов (грейдеров), запускать тесты и интерпретировать результаты. Такой подход позволяет не только выбрать модель, но и понять, сколько она будет стоить в продакшене и как быстро она отвечает.

Ключевая идея заключается в том, что оценка должна быть объективной, воспроизводимой и привязанной к бизнес-логике. Вместо того чтобы полагаться на субъективное мнение человека, мы используем код, который проверяет ответы моделей с точностью до символа или структуры JSON. Это позволяет избежать ошибок «человеческого фактора» и получить чистые данные для сравнения.

01Шаг 1. Формулировка задач: от идеи к проверяемому контракту

Первый и, возможно, самый важный этап бенчмаркинга — это создание набора задач (tasks). Задача не может быть просто вопросом. Она должна быть четко определенным «контрактом», который включает три обязательных элемента: входные данные (input), ожидаемый ответ (expected answer) и контракт вывода (output contract).

Рассмотрим пример из области обработки счетов-фактур. Если вы просите модель просто «посчитать сумму», это слишком размыто. Правильная задача должна специфицировать: какие строки учитывать, как применять скидки, как округлять итоговую сумму и какие суффиксы валюты допустимы. Например, задача может звучать так: «Даны две неоплаченные строки: 3 x 12.50 USD и 2 x 4.25 USD. Верните только их общую сумму с ровно двумя знаками после запятой».

В нашем тестовом наборе OpenRouter использовался набор из 40 базовых задач и 20 сложных (hard tasks). Эти задачи были разделены на категории, чтобы охватить разные аспекты работы LLM:

  • Арифметика в счетах: Проверка точности вычислений, округления и работы с десятичными дробями.
  • Даты и расписания: Конвертация временных меток, работа с часовыми поясами, проверка точности дат.
  • Извлечение данных из писем: Преобразование неструктурированного текста в строгий JSON с проверкой типов ключей и значений.
  • Реализация Python-функций: Написание кода, который должен работать с скрытыми входными данными в изолированной среде.
  • Ограничения вывода: Генерация текста с соблюдением строгих правил (длина, словарный запас, формат).
  • Принятие решений (Refund decisions): Применение написанной политики возврата средств к пограничным случаям (например, сумма ровно 200 долларов, срок ровно 30 дней).

Важно отметить, что все вычисления для «эталонных» ответов должны производиться независимо от модели. Например, для задач на возврат средств мы тестируем написанные решения, не выполняя реальных транзакций. Это гарантирует, что мы проверяем именно логику модели, а не внешние факторы.

02Шаг 2. Создание кода-грейдера и проверка его надежности

После того как задачи определены, нужно создать механизм их проверки. В отличие от человеческой оценки, где можно допустить неточность, код-грейдер должен быть безупречным. Мы используем строгое сравнение (exact matching) для простых ответов (например, «APPROVE» или «DENY») и проверку схемы/значений для JSON.

Ключевой принцип здесь — нормализация только разрешенных различий. Если ваш потребитель данных требует только число, а модель возвращает число с текстовым пояснением, это должно считаться ошибкой. Принятие «прозы» вокруг числа скрывает провал модели в соблюдении контракта.

Чтобы убедиться, что ваш грейдер работает корректно, его необходимо протестировать на известных случаях:

  1. Правильные ответы: Модель должна их принять.
  2. Неправильные ответы: Модель должна их отклонить.
  3. Некорректные (malformed) ответы: Например, сломанный JSON или пустой ответ. Грейдер должен их идентифицировать.

В процессе разработки OpenRouter столкнулся с проблемой: их начальный чекер отклонял валидный Python-код, потому что в нем отсутствовали определенные параметры. Это было исправлено перед финальным запуском, и теперь тесты выполняются в изолированной среде CPython 3.12.10/WASI с ограничениями ресурсов. Если бы этого не произошло, ошибки в самом грейдере были бы ошибочно засчитаны моделям как провалы.

⚠️
Важно. Полная система тестирования изолирует сгенерированный код и останавливается, если среда песочницы не настроена. В учебных примерах сгенерированный код не выполняется вообще, чтобы избежать рисков безопасности. Всегда проверяйте свой грейдер на граничных значениях (например, сумма ровно 200 долларов и срок ровно 30 дней для политики возврата).

03Шаг 3. Запуск тестов: от офлайн-проверки к реальным запросам

Теперь перейдем к технической части. OpenRouter предоставляет открытый набор инструментов (companion ZIP), который позволяет запустить бенчмарк локально. Перед запуском критически важно проверить целостность файла с помощью SHA-256 хеша, чтобы убедиться, что вы скачали оригинальный код без изменений.

Процесс запуска состоит из нескольких этапов. Сначала вы выполняете офлайн-проверку (offline check), которая не делает никаких вызовов к API. Это позволяет убедиться, что ваш грейдер и эталонные ответы работают корректно.

terminalbash
python verify_package.py
python three_tasks.py check

Если все прошло успешно, вы увидите сообщение: «OFFLINE reference and grader checks passed; zero inference calls». Это означает, что инфраструктура готова, и вы можете переходить к реальным тестам.

Настройка конфигурации и планирование затрат

Перед тем как отправлять запросы, рекомендуется использовать режим «plan». Он позволяет оценить стоимость тестирования, не тратя реальные деньги. Конфигурация задается в JSON-файле, где вы указываете модель, количество повторений (repeats), максимальное количество токенов и ограничения по цене.

terminaljson
{
  "models": ["openai/gpt-6-luna"],
  "repeats": 3,
  "max_tokens": 1024,
  "settings": {
    "openai/gpt-6-luna": {
      "provider": {
        "require_parameters": true,
        "allow_fallbacks": true,
        "max_price": {
          "prompt": 0.10,
          "completion": 0.50,
          "request": 0.05
        }
      }
    }
  }
}

Команда python three_tasks.py plan --config luna-config.json покажет примерную стоимость. Например, для трех задач с моделью Luna это может быть около $0.002, а для Sol — около $0.047. Это помогает избежать неожиданных счетов.

Как правильно оценивать LLM: полное руководство по бенчмаркингу

Запуск реальных тестов

Для запуска тестов вам понадобится API-ключ OpenRouter. Установите переменную окружения и запустите скрипт с флагом --live и ограничением бюджета --max-usd.

terminalbash
# PowerShell
$env:OPENROUTER_API_KEY = "YOUR_API_KEY"

# Bash/Zsh
export OPENROUTER_API_KEY="YOUR_API_KEY"

# Запуск теста
python three_tasks.py run --config luna-config.json --run-dir runs/my-luna --live --max-usd 0.01

# Сбор результатов
python three_tasks.py reconcile --run-dir runs/my-luna --live
python three_tasks.py report --run-dir runs/my-luna

Команда reconcile выполняет только чтение метаданных генерации, а report выводит сводку: покрытие ответов (сколько из запланированных тестов вернуло ответ), количество пройденных/непройденных тестов, подтвержденную стоимость и медианное время запроса. Обратите внимание, что время запроса не включает время на грейдинг и не является временем до первого токена (TTFT).

💡
Совет. Всегда проверяйте, была ли стоимость подтверждена (verified). До верификации счета отчет может показывать стоимость как «неопределенную». Это важно для точного расчета ROI.

04Шаг 4. Создание собственных задач и грейдеров

Одна из сильных сторон этого подхода — возможность легко добавлять свои задачи. Допустим, вам нужно извлечь данные из заказа клиента. Вы создаете JSON-файл с описанием задачи, где указываете промпт, ожидаемый JSON-объект и имя грейдера.

terminaljson
{
  "id": "order-extraction",
  "grader": "exact-order-json-v1",
  "prompt": "Extract email, order_id, item_count and gift_wrap from this order. Return a JSON object only...",
  "expected": {
    "email": "mira@example.test",
    "order_id": "A-104",
    "item_count": 3,
    "gift_wrap": false
  }
}

Грейдер для такой задачи должен быть строгим. Он должен проверять не только значения, но и типы данных, и отсутствие лишних ключей. Например, если модель возвращает "item_count": 3.0 вместо 3, или добавляет лишний ключ, это должно считаться ошибкой. Также грейдер должен отклонять дублирующиеся ключи в JSON и нечисловые значения там, где ожидаются числа.

В коде грейдера используется функция strict_json, которая парсит JSON с проверкой на дубликаты и бесконечные значения. Затем проверяется схема (типы ключей) и сравнение с эталонным объектом. Это позволяет отделить «неправильный» ответ от «некорректного» (malformed).

05Шаг 5. Сравнение результатов и анализ пропущенных ответов

После запуска тестов для нескольких моделей вы получаете набор данных, который можно сравнить. Важно смотреть не только на процент прохождения (pass rate), но и на другие метрики:

  • Стоимость: Сколько стоит 1000 запросов к модели?
  • Время отклика: Как быстро модель отвечает?
  • Надежность: Сколько ответов было возвращено, а сколько упало из-за таймаутов или ошибок?

В нашем тестовом наборе из 60 синтетических задач (по 3 повторения для каждой, итого 180 испытаний) модель GPT-6.1 Sol прошла все 180 испытаний. Модель DeepSeek показала лучший результат по стоимости, но прошла 157 из 180 испытаний. Это наглядно демонстрирует компромисс между ценой и качеством.

Также важно обрабатывать пропущенные ответы. Если модель не вернула ответ, это не всегда означает ошибку. Возможно, сработало ограничение по времени или бюджету. В отчете это должно быть четко указано, чтобы не искажать статистику.

📌
Факт. Согласование с публичными рейтингами оказалось слабым. Коэффициент корреляции Спирмена между результатами нашего бенчмарка и публичными списками составил всего 0.109. Это означает, что то, что хорошо в общем рейтинге, не обязательно хорошо для вашей конкретной задачи.

06Ключевые выводы и лучшие практики

Сколько раз нужно запускать каждую задачу?

Один запуск может быть подвержен случайности. Рекомендуется делать минимум 3 повторения для каждой задачи. Это позволяет усреднить результаты и учесть вариативность LLM. В нашем тесте использовалось 3 повторения, что дало статистически значимые результаты.

Как интерпретировать результаты?

Не доверяйте оценке, пока не проверите:

  1. Сколько раз была запущена каждая задача.
  2. Сколько ответов было возвращено.
  3. Была ли стоимость подтверждена.

Если модель прошла 100% тестов, но стоила в 10 раз дороже конкурента, возможно, для вашей задачи есть более эффективное решение. Если модель прошла 90% тестов, но оставшиеся 10% критичны для бизнеса, она может быть непригодна.

Сравнение самодостаточных LLM и API-решений
Сравнение самодостаточных LLM и API-решений

07Что это значит на практике

Для разработчиков и продуктовых команд этот подход означает переход от «гадания на кофейной гуще» к инженерному выбору моделей. Вместо того чтобы выбирать модель на основе маркетинговых заявлений, вы можете:

  1. Создать репрезентативный набор задач на основе реальных запросов вашего приложения (например, 20-50 типичных сценариев).
  2. Написать строгие грейдеры для этих задач, которые проверяют не только содержание, но и формат.
  3. Запустить бенчмарк для 5-10 кандидатов на OpenRouter или других провайдерах.
  4. Сравнить результаты по трем параметрам: точность, стоимость, скорость.
  5. Выбрать оптимальную модель для каждого типа задачи. Например, для простых задач использовать дешевую модель, а для сложных — более дорогую, но точную.

Этот метод позволяет не только сэкономить деньги, но и повысить надежность вашего AI-приложения. Вы точно знаете, как модель поведет себя в продакшене, и можете быть уверены в качестве ее ответов.

Темная тема: сравнение локального запуска и облачного API
Темная тема: сравнение локального запуска и облачного API

08Заключение

Бенчмаркинг LLM — это не разовое действие, а непрерывный процесс. Модели обновляются, появляются новые версии, меняются требования бизнеса. Регулярное проведение тестов с использованием собственных задач и грейдеров позволит вам всегда оставаться в курсе лучших решений и оптимизировать затраты на AI.

Используйте инструменты, подобные тем, что предоставляет OpenRouter, чтобы сделать этот процесс простым, воспроизводимым и прозрачным. Помните: лучшая модель — это не та, которая самая популярная, а та, которая лучше всего решает ваши конкретные задачи.

Источник: OpenRouter ↗