Проблема текущего подхода к RAG
В корпоративной аналитике документов (Enterprise Document Intelligence) стандартная практика Retrieval-Augmented Generation (RAG) часто ограничивается парсингом содержимого PDF-файлов. Однако этот метод упускает критически важную информацию, заложенную в структуре папки и метаданных. Индекс папки определяет тип дела (case type) до того, как будет открыт любой файл, что задает контекст для всей последующей обработки.
Суть нового подхода: Реляционные таблицы
Автор статьи предлагает сместить фокус с простого извлечения текста на построение реляционных таблиц, необходимых для RAG. Вместо того чтобы задавать вопросы системе о содержимом документов, необходимо сначала сформировать структуру данных, отражающую требования типа дела. Это позволяет системе понимать не только «что написано», но и «как это связано» с другими элементами дела.
Ключевые метрики и отличия
Традиционный подход и предложенная методология различаются по нескольким ключевым параметрам:
| Параметр | Традиционный RAG (PDF-only) | Новый подход (Folder Index + Relational Tables) |
|---|---|---|
| Источник данных | Текст внутри PDF-файлов | Структура папки, метаданные, реляционные связи |
| Контекст | Локальный (в пределах документа) | Глобальный (определяется типом дела) |
| Тип запросов | Вопросы по извлечению фактов | Вопросы по структуре и логике дела |
| Точность | Низкая при сложных многодокументных делах | Высокая за счет предварительной индексации |
Почему это важно для бизнеса
Игнорирование индекса папки приводит к потере семантического контекста. В юридических, медицинских или финансовых делах структура документа часто важнее его содержания. Например, наличие определенного файла в определенной папке может означать одобрение этапа, даже если текст файла нейтрален. Построение реляционных таблиц позволяет RAG-системам работать с документацией как с базой данных, а не как с набором разрозненных текстов.
Вывод
Для эффективной работы с корпоративными документами необходимо пересмотреть архитектуру RAG-систем. Ключ к успеху — не в улучшении парсеров PDF, а в грамотном извлечении и структурировании метаданных папки. Это превращает хаотичный набор файлов в упорядоченную систему, готовую к интеллектуальному анализу.
Источник: Towards Data Science ↗