Кризис стандартного подхода к поиску
В индустрии RAG (Retrieval-Augmented Generation) доминирует устоявшаяся практика: извлечение документов осуществляется путем вычисления косинусного сходства между векторами запроса и документов. Однако новые данные из области Enterprise Document Intelligence указывают на то, что этот подход является фундаментально flawed (сломанным) для сложных корпоративных задач. Косинусное сходство измеряет угловую близость векторов, но игнорирует фактическую смысловую релевантность, что приводит к возврату нерелевантных фрагментов текста.
Почему косинусное сходство обманчиво
Основная проблема заключается в том, что векторные эмбеддинги, особенно в высокоразмерных пространствах, могут иметь высокую косинусную близость при полном отсутствии семантического пересечения. Это создает «иллюзию точности» при оценке систем. Вместо того чтобы искать документы, которые отвечают на вопрос, система находит документы, которые просто «похожи» по структуре вектора, но не по смыслу. Это критично для Enterprise-сегмента, где цена ошибки высока.
Шесть позиций альтернативного извлечения
Авторы исследования выделяют шесть ключевых позиций, которые должны заменить или дополнить «рефлекс косинуса» в современных RAG-архитектурах. Эти позиции смещают фокус с простой геометрической близости на глубокую семантическую проверку:
- Семантическая релевантность: Приоритет отдается моделям, способным оценивать соответствие смысла, а не формы вектора.
- Гибридный поиск: Комбинация векторного поиска с ключевыми словами (BM25) для фильтрации явного несоответствия терминов.
- Реранкинг (Re-ranking): Использование тяжелых моделей (например, на базе Cross-Encoder) для финальной сортировки результатов после первичного векторного отбора.
- Контекстуальная проверка: Учет соседних документов и структуры документа, а не изолированных фрагментов.
- Динамическая пороговая оценка: Отказ от фиксированных порогов сходства в пользу адаптивных метрик.
- Человеческая валидация: Интеграция обратной связи для дообучения моделей извлечения под конкретную предметную область.
Практические последствия для разработчиков
Отказ от исключительно косинусного подхода требует пересмотра пайплайнов обработки данных. Внедрение реранкеров и гибридных схем увеличивает вычислительные затраты, но существенно повышает качество ответов LLM. Для корпоративных систем это означает переход от «поиска по ключевым словам в векторах» к «пониманию документа». Игнорирование этих уроков ведет к созданию RAG-систем, которые выглядят технологично, но выдают галлюцинированные или нерелевантные ответы из-за плохого качества исходных данных.
Источник: Towards Data Science ↗