Проблема неравномерных пулов
В индустрии LLM-as-a-judge стала стандартом для замены дорогостоящей человеческой оценки. Однако стандартный подход усреднения голосов нескольких моделей (LLM judges) имеет критический недостаток: он приравнивает вес надежных и слабых судей. В условиях, когда валидационные наборы данных содержат всего несколько сотен примеров, модели типа Dawid-Skene не могут точно оценить ошибки каждого судьи из-за недостатка данных.
Решение: AGORA и Item-Response Theory
Авторы предлагают AGORA (Aggregation Of Reliability-weighted Assessments), который использует Item-Response Theory (IRT). Этот подход помещает каждый вопрос на скрытую шкалу качества, а каждого судью описывает через параметр чувствительности и упорядоченные пороги оценок. Ключевое преимущество — надежность судьи вычисляется на основе всех элементов совместно, без необходимости в человеческих лейблах.
Результаты на бенчмарках
Метод AGORA демонстрирует стабильность даже при сокращении размера набора данных. В отличие от классических подходов, его преимущество растет, когда количество элементов приближается к сотням. Метод также сохраняет точность при росте неравномерности пула судей.
| Метрика / Характеристика | AGORA | Dawid-Skene |
|---|---|---|
| Точность на больших наборах | Сопоставима или выше | Базовый уровень |
| Эффективность на малых наборах (сотни items) | Значительное преимущество | Снижение точности |
| Зависимость от человеческих аннотаций | Не требуется (label-free) | Требует для калибровки |
| Устойчивость к неравномерности пула | Высокая | Снижается |
Практическая значимость
AGORA позволяет предсказать, когда взвешивание по доверию будет эффективным, используя статистический показатель дисперсии, не требующий меток. Обученные веса доверия точно коррелируют с человеческой валидностью каждого судьи, что делает этот метод мощным инструментом для автоматизированной оценки качества LLM.
Источник: arXiv cs.AI ↗