CASE: Прогноз точности LLM по скрытым состояниям лучше голосования

Проблема мажоритарного голосования

Традиционный подход к объединению ответов больших языковых моделей (LLM) — мажоритарное голосование (majority voting) — оказывается ненадежным на сложных вопросах. При генерации множества вариантов ответы часто содержат коррелированные ошибки, из-за чего неверный ответ может набрать большинство. Увеличение числа сэмплов в таких случаях лишь усугубляет ситуацию, снижая итоговую точность решения.

Решение: CASE и метрика Decodability

Авторы предлагают динамический комбайнер CASE (Correctness-Axis SElection). Метод обучает линейный гейт на скрытом состоянии токена ответа, чтобы выбрать кандидата с наивысшим баллом. Ключевым вкладом является метрика decodability (декодируемость) — мера, не содержащая утечки данных (leakage-free), которая показывает, насколько хорошо гейт ранжирует правильные ответы выше неправильных. Эта метрика позволяет предсказать, когда выбор по скрытым состояниям превзойдет голосование.

Эмпирические результаты

Исследование показало, что традиционные зонды (probes) часто кажутся точными только из-за утечки информации об идентичности вопроса. При оценке с группировкой вопросов эта точность исчезает. На отложенных данных метрика decodability предсказывает прирост точности выбора над голосованием с коэффициентом Пирсона r=0.75, а пороговое значение для принятия решения находится в районе AUC=0.60.

Метод CASE демонстрирует значительное улучшение по сравнению с мажоритарным голосованием на общих и медицинских LLM, особенно на вопросах средней и высокой сложности:

Практическая значимость

Декодируемость зависит от выровненных знаний, которые модель должна вспомнить, а не от ее масштаба. Предсказательная способность метрики переносится на новые научные области с точностью до 3.8 пунктов. Это предоставляет практикам измеримый критерий для выбора между обученным отбором и мажоритарным голосованием еще до запуска модели на конкретной задаче.

Источник: arXiv cs.AI ↗