Решение конфликта знаний: приоритет вместо правил для RAG-моделей

Проблема жестких правил в RAG

В Retrieval-Augmented Generation (RAG) модели часто сталкиваются с ситуацией, когда извлеченный контекст противоречит внутренним знаниям нейросети. Существующие подходы решают этот конфликт с помощью фиксированных правил, заданных на этапе проектирования: «всегда доверять контексту», «усиливать контекст пропорционально отклонению» или «полагаться на память модели». Авторы исследования показывают, что каждый из этих методов уверенно ошибается в определенных сценариях развертывания.

Теоретический анализ через призму теории принятия решений демонстрирует, что оценка любой фиксированной правила линейно зависит от доли надежных контекстов, тогда как максимально достижимый результат имеет выпуклую форму. Это означает, что ни одно статичное правило не может быть оптимальным во всех условиях. Кроме того, симметричное расхождение между двумя источниками не несет информации о том, какой из них прав.

Новый подход: Приоритет и калиброванная уверенность

Для разрешения конфликта предлагается использовать два ключевых элемента, отсутствующих в текущих методах:

• Отдельные доказательства: оценка надежности каждого источника (контекста и модели) независимо.
• Априорное распределение (Prior): информация о том, как часто контекст бывает верным, применяется как точный сдвиг априорной вероятности ($\pi$).

Архитектура включает «политику» (policy), которая выражает уверенность в своих заметках, и «читателя» (reader), отвечающего в двух голосах. Селектор принимает решение или воздерживается, опираясь на заданный приоритет.

Результаты на бенчмарке GRACE

Эксперименты проводились на датасете GRACE, где вмешательство в граф знаний позволяет отдельно измерить то, что знает модель, что говорит контекст и что является истиной. Все базовые модели из четырех семейств показывали сильные результаты либо на верных, либо на неверных контекстах, но не на обоих одновременно.

Предложенная система превзошла лучшие базовые линии на всех смесях контекстов GRACE. При установке $\pi$ равным реальной доле верных контекстов, прирост составил до 26 пунктов.

Валидация на ClashEval

На предварительно зарегистрированном датасете ClashEval новый метод превзошел аналоги CK-PLUG и TCR (с тем же бэкбондом) на 12 и 26 пунктов соответственно. Важно отметить, что теория предсказывает: когда модель полностью лишена необходимых знаний, прирост исчезает, что подтверждает адекватность предложенной модели.

Источник: arXiv cs.AI ↗