Суть проблемы: переплата за «прозу»
В системах RAG (Retrieval-Augmented Generation) критически важна верификация утверждений: есть ли в извлеченных данных подтверждение заявлению? Традиционно эту задачу решают через генерацию текста LLM, что дорого и избыточно. Авторы исследования предлагают альтернативу: использовать Jev — негенеративную модель, которая выдает бинарный ответ и вероятность, а не текст.
Сравнение: Jev против Astra
Исследователи провели парное сравнение на 495 аннотированных утверждениях из датасета LLM-AggreFact. Несмотря на то, что Jev значительно дешевле, их общая точность статистически не различается. Однако скрытые метрики выявили важные различия в ошибках.
| Метрика | Jev (Non-Generative) | Astra (Frontier LLM) |
|---|---|---|
| Разница в точности (Jev - Astra) | -0.56 (статистически незначимо) | |
| Доля расхождений | 15.2% случаев | |
| Ошибка пропуска (False Negative) | 23.2% (пропускает ложь) | 14.1% (лучше ловит ложь) |
| Стоимость обработки | В 187 раз дешевле Astra | |
Решение: Confidence-Gated Cascading
Поскольку модели ошибаются по-разному, авторы внедрили каскадную архитектуру. Jev обрабатывает утверждения, в которых он уверен, а сложные случаи эскалирует в Astra. Это позволяет достичь точности 74.10% при стоимости $2.92 за 1000 утверждений, тогда как чистая Astra стоит $8.93.
Главный инсайт: цена за эскалацию
Интересный вывод исследования: экономия достигается не за счет «умного» выбора, что отправлять в LLM, а за счет самого факта наличия эскалации. Контрольная группа с рандомной эскалацией показала аналогичные результаты. При этом сам каскад стоит в 61 раз дороже базового Jev, но дает прирост точности всего на 0.83 балла, что делает его оправданным только при высокой стоимости ошибок.
Все предсказания, промпты и код опубликованы для воспроизведения результатов.
Источник: arXiv cs.CL ↗