Проблема неоднозначности в RAG
В системах генерации с извлечением информации (RAG) критической проблемой является обработка неоднозначных пользовательских запросов. Запрос может быть некорректным в контексте диалога или, что более интересно, иметь несколько интерпретаций даже при наличии релевантных документов. Авторы работы предлагают решение: обучить модель не просто отвечать, а задавать уточняющие вопросы.
Датасет ClariEdge и роль «жестких негативов»
Для обучения исследователи создали датасет ClariEdge, содержащий около 3 900 примеров. Ключевой особенностью датасета является наличие «жестких негативов» (hard negatives) — запросов, которые выглядят неоднозначными, но на самом деле могут быть разрешены на основе контекста. Это позволяет модели отличать истинную неоднозначность от кажущейся.
Эффективность легковесных моделей
Главный вывод исследования: для задачи уточнения запросов не нужны гигантские LLM. Легковесная модель, дообученная с помощью LoRA (Low-Rank Adaptation), демонстрирует результаты, превосходящие базовые модели с промптами у более крупных аналогов. Точность классификации (нужно ли уточнение или нет) составила 96,6%.
Двухэтапная интеграция в пайплайн
Обученная модель может использоваться в двух точках RAG-конвейера:
- До извлечения (Pre-retrieval): для фильтрации и уточнения запроса до поиска по базе знаний.
- После извлечения (Post-retrieval): для проверки интерпретации найденных документов перед генерацией ответа.
Сравнение производительности
| Метрика / Характеристика | LoRA-модель (ClariEdge) | Базовые модели с промптами (Large) |
|---|---|---|
| Точность классификации | 96.6% | Ниже (уступают в качестве генерации) |
| Размер модели | Small (легковесная) | Large (тяжеловесные) |
| Применимость | Pre- и Post-retrieval | Ограниченная гибкость |
Датасет ClariEdge и код доступны для общественности, что открывает возможности для оптимизации RAG-систем без значительных вычислительных затрат.
Источник: arXiv cs.AI ↗