Проблема экспертных знаний
Геополитические и стратегические отчеты содержат уникальные экспертные знания, но их гетерогенность и аналитическая сложность создают барьеры для систем поиска и генерации (RAG). Авторы работы — Вероника Солопова, Иван Хавлыцкий, Виктория Скорик и Остап Выхопен — предлагают решение в виде нового бенчмарка GeopoliticalQA.
Масштаб данных и методология
Датасет включает 415 открытых источников (open-source intelligence reports) и 5 525 пар «вопрос-ответ». Вопросы разделены на четыре категории, требующие разных когнитивных навыков:
- Фактические (factual)
- Выводные (inferential)
- Сравнительные (comparative)
- Ориентированные на риски (risk-oriented)
Качество данных подтверждено экспертной аннотацией и протоколом «LLM-as-judge». Генерация вопросов происходила через конвейер, учитывающий структуру документа (document-aware generation pipeline).
Результаты тестирования RAG-систем
Авторы протестировали 15 систем поиска и 6 открытых LLM. Ключевые выводы касаются разрыва между качеством поиска и качеством генерации:
| Компонент RAG | Наблюдение | Детали |
|---|---|---|
| Поиск на уровне документа | Стабильность | Все модели показывают схожие результаты |
| Поиск на уровне фрагмента (chunk) | Масштаб не важен | Средняя модель bge-m3 превосходит коммерческие API и модели в 10 раз крупнее |
| Генерация ответа | Слабое место | Даже с золотым доказательством (gold evidence) модели ошибаются, особенно на сложных вопросах |
Почему это важно
Результаты показывают, что проблема не в поиске информации, а в её интерпретации. Для задач, требующих анализа рисков или сложных выводов, текущие LLM недостаточно надежны. Использование эффективных эмбеддингов, таких как bge-m3, позволяет оптимизировать затраты на поиск, но не решает фундаментальную проблему логического вывода в домене стратегической аналитики.
Источник: arXiv cs.CL ↗