Проблема: LLM-судьи как «черный ящик»
LLM-судьи (Large Language Model Judges) все чаще берут на себя роль арбитра при оценке качества ответов других моделей, отборе данных для обучения и бенчмарках. Однако их решения полезны только тогда, когда они стабильно реагируют на изменения, влияющие на критерий оценки. Существующие методы проверки надежности (например, Judge Reliability Harness — JRH) опираются на ручное создание сценариев возмущения (perturbations) и синтетическую генерацию тестов. Это создает узкое место: сценарии пишут люди, что ограничивает тестирование заранее предположенными типами судей и фиксированными возмущениями.
Решение: SANE как агентная система
Исследователи Ethan Ludwick и Yu-Chung Hsiao представили SANE (Scorer-Specific Automated Metamorphic Testing) — фреймворк на основе агентов, который кодирует поведенческие требования стохастических оценщиков как переиспользуемые инструкции. Процесс работает в два этапа:
- Идентификация: Система анализирует спецификацию судьи и репрезентативные входные данные, чтобы выявить его специфические возможности.
- Генерация: Автоматически выводятся рецепты возмущений и ожидаемые отношения между оценками (score relations), специфичные для данного судьи.
Ключевое отличие SANE — наличие независимого от судьи механизма валидации. Он проверяет, согласуется ли сгенерированный рецепт с намерениями судьи, и реализует ли конкретный тестовый случай этот рецепт.
Результаты: Прорыв в корреляции с человеком
В исследовании, охватившем пять различных доменов, SANE продемонстрировал значительное превосходство над существующими методами. Система генерирует в 3,7 раза больше проверенных семейств тестов по сравнению с JRH при сопоставимом уровне валидности. Более того, SANE выявил недостатки судей во всех доменах, включая профессионализм и токсичность, где JRH не обнаружил никаких проблем.
Наиболее впечатляющий результат показан в домене faithfulness (достоверность/верность контексту). Тестовый набор SANE ранжирует модели-судьи с высокой степенью согласования с человеческой оценкой (Spearman rho = 0.852), в то время как JRH практически не коррелирует с человеческим мнением (rho = 0.100).
Сравнительные метрики
| Метрика / Домен | SANE | JRH (Judge Reliability Harness) |
|---|---|---|
| Количество валидированных семейств тестов | В 3.7 раза больше | Базовый уровень |
| Выявление дефектов (профессионализм/токсичность) | Обнаружены во всех доменах | Не обнаружено |
| Корреляция с человеком (Faithfulness, Spearman rho) | 0.852 | 0.100 |
Почему это важно
Работа, принятая к публикации на воркшопе NeurIPS 2026 TAE, закрывает критический пробел в автоматизации тестирования AI-оценщиков. SANE позволяет масштабировать проверку надежности LLM-судей без ручного труда, создавая инвентарь рецептов, который растет по мере добавления новых типов судей. Это повышает доверие к автоматизированным бенчмаркам, которые все чаще определяют победителей в гонке больших языковых моделей.
Источник: arXiv cs.CL ↗