Проблема масштабируемости RAG
Стандартная архитектура Retrieval-Augmented Generation (RAG) сталкивается с критическим узким местом при масштабировании. Новое воспроизводимое исследование демонстрирует, что когда объем базы документов для поиска увеличивается до 2,68 миллиона фрагментов, точность извлечения релевантной информации катастрофически снижается. Потеря качества составила около 40 пунктов по сравнению с небольшими выборками.
Ключевая проблема заключается не только в объеме, но и в наличии «шумовых» (distracting) passages — фрагментов текста, которые семантически похожи на запрос, но не содержат ответа. Современные модели векторного поиска (embeddings) и классический алгоритм BM25 начинают путаться в таком массиве данных, снижая Precision@K.
Сравнение подходов к поиску
Исследователи протестировали три основных подхода к извлечению контекста. Результаты показали, что ни один из методов не является универсальным, а их эффективность сильно зависит от структуры данных и наличия отвлекающих факторов.
| Метод поиска | Особенности | Поведение при 2.68M документов |
|---|---|---|
| BM25 | Текстовый поиск по ключевым словам | Хорошо справляется с точными совпадениями, но теряет контекст |
| Embeddings | Векторный семантический поиск | Сильно страдает от «шумовых» документов, снижая точность |
| Parent Documents | Поиск по крупным блокам (родителям) | Лучше сохраняет контекст, но медленнее и требует больше памяти |
Почему авторские оценки завышены?
Авторы статьи отмечают системную ошибку в большинстве публичных бенчмарков. Обычно тесты проводятся на небольших, чистых наборах данных, где легко найти ответ. В реальных условиях, когда база данных разрастается до миллионов записей, модель сталкивается с проблемой position bias (смещения позиции).
Если релевантный фрагмент находится в начале контекста, LLM с большей вероятностью использует его. Если же он «потерян» среди миллионов похожих, но бесполезных документов, качество ответа падает. Исследование подчеркивает, что важность не только самого факта извлечения документа, но и его позиции в итоговом контексте для генерации ответа.
Выводы для разработчиков
Для создания надежных RAG-систем на больших объемах данных недостаточно просто подключить векторную базу. Необходимо:
- Использовать гибридный поиск (BM25 + Embeddings) для фильтрации шума.
- Применять стратегии ре-ранжирования (re-ranking) для повышения релевантных документов в начало контекста.
- Тестировать системы на реалистичных наборах данных с большим количеством отвлекающих фрагментов, а не только на синтетических чистых выборках.
Источник: Towards Data Science ↗