Суть эксперимента
В статье на Towards Data Science описан детальный бенчмарк, ставящий под сомнение слепую веру в Agentic RAG (Retrieval-Augmented Generation с элементами автономного агента). Автор протестировал две стратегии извлечения информации:
- Plain RAG: Стандартный поиск по векторной базе данных на основе исходного запроса.
- Agentic RAG: Система, где LLM-агент самостоятельно решает, нужно ли уточнять запрос, переформулировать его или выполнять дополнительные поисковые запросы (re-search), если первоначальный результат кажется недостаточным.
Ключевой вопрос исследования: оправдывает ли дополнительная вычислительная сложность и задержка (latency) от многошагового поиска улучшение качества найденных доказательств (evidence)?
Результаты на 298 вопросах
Тестирование проводилось на наборе из 298 вопросов. Результаты оказались неоднозначными и, по мнению автора, не в пользу агентов:
- Положительные случаи: Агент действительно нашел документы, которые обычный RAG пропустил. Это произошло в случаях, когда первоначальный запрос был слишком общим или требовал уточнения контекста.
- Отрицательные случаи: В ряде ситуаций агент «потерял» правильные ответы, которые Plain RAG нашел с первого раза. Это произошло из-за ошибок в рефлексии агента или неверной интерпретации промежуточных результатов.
- Баланс: Чистый прирост качества (gain) оказался слишком мал, чтобы оправдать затраты. Разница в точности (precision) и полноте (recall) между двумя подходами статистически незначима или минимальна в большинстве сценариев.
Почему это важно для разработчиков
Результаты исследования бьют по популярному тренду на внедрение сложных агентов в каждый RAG-пайплайн. Основные выводы:
- Стоимость и скорость: Agentic RAG требует больше токенов на LLM-вызовы (для анализа и принятия решений) и увеличивает время отклика. Если Plain RAG справляется с задачей, добавление агента — это избыточная сложность.
- Надежность: Автономные агенты подвержены галлюцинациям на этапе принятия решений. Агент может решить, что поиск не удался, и начать «крутить» запрос, уводя систему от правильного ответа.
- Простота лучше: Для многих задач оптимизация исходного запроса (query rewriting) или улучшение качества базы знаний (chunking, embedding) дает больший прирост качества, чем добавление многошагового агента.
Вывод
Agentic RAG — не серебряная пуля. Он полезен в сложных, многошаговых сценариях, где требуется глубокий анализ, но для стандартных вопросов по базе знаний Plain RAG часто оказывается быстрее, дешевле и надежнее. Перед внедрением агентов необходимо проводить подобные бенчмарки на конкретных данных.
Источник: Towards Data Science ↗