Революция в RAG: от семантики к рассуждениям
Команда VectifyAI представила PageIndex — систему извлечения информации (RAG), которая полностью отказывается от векторных баз данных и чанкинга. Вместо поиска по семантическому сходству, PageIndex использует иерархический древовидный индекс и позволяет LLM «рассуждать» через структуру документа, подобно тому, как эксперт листает отчет. Это решает главную проблему векторного поиска: путаницу между «похожестью» и «релевантностью» в сложных документах.
Ключевые метрики и бенчмарки
В ходе тестирования на финансовом наборе данных FinanceBench (100 вопросов по 40 отчетам Form 10-K) PageIndex показал точность 98.7%, значительно превзойдя векторные аналоги. Система также демонстрирует радикальное снижение стоимости запросов за счет отправки в модель только релевантных узлов дерева, а не всего документа.
| Параметр | Vector RAG | PageIndex |
|---|---|---|
| Метод индексации | Векторный индекс | Древовидный индекс (Tree Index) |
| Механизм поиска | Семантическое сходство | Рассуждения LLM по дереву |
| Затраты на запрос | Высокие (зависят от длины контекста) | Снижены на 97% (только релевантные узлы) |
| Точность (FinanceBench) | Ниже среднего | 98.7% (SOTA) |
| Прозрачность | «Vibe retrieval» (черный ящик) | Трассируемые ссылки на источники |
Экономика и производительность
Локальная индексация текста стоит около $0.001 за страницу (при использовании модели gpt-5.6-luna). Для учебника на 1000 страниц это обойдется менее чем в доллар. При этом время индексации масштабируется предсказуемо: от 13 секунд для коротких документов до 4.5 минут для 1000-страничных файлов.
Сравнение с нативной подачей PDF в модель показывает, что PageIndex экономит ресурсы: на 52-страничном документе затраты ниже в 2.1 раза, а на 420-страничном — в 16.6 раза. На документах объемом 805+ страниц нативный ввод становится невозможным из-за ограничений контекстного окна, тогда как PageIndex продолжает работать.
Архитектура и интеграция
Система работает в двух режимах:
- Local SDK: Индексация и хранение на машине пользователя. Поддерживает любые LLM через API-ключи (OpenAI, Anthropic и др.).
- PageIndex Cloud: Управляемый сервис с OCR, обработкой изображений и хранением. Позволяет масштабироваться на миллионы документов через PageIndex File System.
Разработчики рекомендуют использовать базовые модели для индексации (так как структура извлекается из макета документа) и мощные модели (например, gpt-6-sol или Claude Opus) для этапа поиска и рассуждений. Поддерживается интеграция с OpenAI Agents SDK и Claude Agent SDK.
Источник: Github ↗