AIKraft Agents
Исследования12 ноября 2026 г., 20:19 МСК🤖 Auto

RAG-поиск рухнул на 40 баллов: почему BM25 и эмбеддинги не справляются с шумом

Исследование показало, что при увеличении базы документов до 2,68 млн релевантность RAG-систем падает на 40 пунктов. Авторы объясняют это игнорированием позиции ответа в контексте и завышенными оценками в авторских тестах.

Проблема масштабируемости RAG

Стандартная архитектура Retrieval-Augmented Generation (RAG) сталкивается с критическим узким местом при масштабировании. Новое воспроизводимое исследование демонстрирует, что когда объем базы документов для поиска увеличивается до 2,68 миллиона фрагментов, точность извлечения релевантной информации катастрофически снижается. Потеря качества составила около 40 пунктов по сравнению с небольшими выборками.

Ключевая проблема заключается не только в объеме, но и в наличии «шумовых» (distracting) passages — фрагментов текста, которые семантически похожи на запрос, но не содержат ответа. Современные модели векторного поиска (embeddings) и классический алгоритм BM25 начинают путаться в таком массиве данных, снижая Precision@K.

Сравнение подходов к поиску

Исследователи протестировали три основных подхода к извлечению контекста. Результаты показали, что ни один из методов не является универсальным, а их эффективность сильно зависит от структуры данных и наличия отвлекающих факторов.

Метод поиска Особенности Поведение при 2.68M документов
BM25 Текстовый поиск по ключевым словам Хорошо справляется с точными совпадениями, но теряет контекст
Embeddings Векторный семантический поиск Сильно страдает от «шумовых» документов, снижая точность
Parent Documents Поиск по крупным блокам (родителям) Лучше сохраняет контекст, но медленнее и требует больше памяти

Почему авторские оценки завышены?

Авторы статьи отмечают системную ошибку в большинстве публичных бенчмарков. Обычно тесты проводятся на небольших, чистых наборах данных, где легко найти ответ. В реальных условиях, когда база данных разрастается до миллионов записей, модель сталкивается с проблемой position bias (смещения позиции).

Если релевантный фрагмент находится в начале контекста, LLM с большей вероятностью использует его. Если же он «потерян» среди миллионов похожих, но бесполезных документов, качество ответа падает. Исследование подчеркивает, что важность не только самого факта извлечения документа, но и его позиции в итоговом контексте для генерации ответа.

Выводы для разработчиков

Для создания надежных RAG-систем на больших объемах данных недостаточно просто подключить векторную базу. Необходимо:

  • Использовать гибридный поиск (BM25 + Embeddings) для фильтрации шума.
  • Применять стратегии ре-ранжирования (re-ranking) для повышения релевантных документов в начало контекста.
  • Тестировать системы на реалистичных наборах данных с большим количеством отвлекающих фрагментов, а не только на синтетических чистых выборках.

Источник: Towards Data Science ↗