Проблема: разрозненные источники знаний
Создание надежных веб-ассистентов требует от ИИ не просто поиска информации, но и способности вести «совместное рассуждение» (joint reasoning). Модель должна одновременно учитывать факты из документов, которые могут обновляться, и требования пользователя, которые часто пересматриваются в ходе многошагового диалога. До сих пор не существовало систематической оценки того, как изменения в обоих источниках влияют на итоговый ответ и атрибуцию доказательств.
Решение: DuSE-Bench с 1000 задачами
Исследователи во главе с Гуаньцзе Чэном (Guanjie Cheng) представили Dual-Source Evolution Benchmark (DuSE-Bench). Это первый датасет, специально разработанный для проверки способности моделей работать с эволюционирующими данными. Ключевые характеристики:
- Объем: 1 000 задач, охватывающих 5 различных сценариев.
- Сложность: 700 задач требуют совместного использования информации из диалога и документов (jointly grounded).
- Методология: Используется «Эволюционирующий граф поддержки» (Evolving Support Graph), который сохраняет связи между обновленными фактами, переиспользованными выводами и исходными репликами/абзацами.
- Атрибуция: Аннотации четко разделяют источник grounding (подтверждения) и зависимость от состояния, позволяя отдельно оценивать содержание ответа, его тип и точность указания источника.
Результаты: разрыв между фактами и логикой
Эксперименты с 11 базовыми конфигурациями моделей выявили серьезные проблемы в области совместного рассуждения. Самая высокая точность контента (content accuracy) на задачах, требующих совместного grounding, составила всего 56,7%.
Исследователи обнаружили парадоксальные результаты: улучшение точности контента часто сопровождалось ухудшением выбора типа ответа. Более того, ответы, которые были фактологически верны, часто не содержали полной атрибуции к исходным доказательствам. Замена доказательств в одном источнике показывала, что эффект зависит от поддержки со стороны другого источника, что подчеркивает необходимость координации памяти диалога и поиска по документам.
Сравнение метрик
| Метрика / Аспект | Результат / Наблюдение | Значение |
|---|---|---|
| Content Accuracy (совместные задачи) | Макс. 56.7% | Базовый уровень точности фактов при работе с двумя источниками |
| Количество задач | 1,000 всего | 700 задач требуют совместного grounding (диалог + документ) |
| Атрибуция доказательств | Часто неполная | Даже верные ответы редко корректно ссылаются на исходные источники |
| Зависимость источников | Кросс-зависимость | Изменение фактов в одном источнике влияет на результат только при поддержке другого |
Почему это важно
Результаты DuSE-Bench демонстрируют, что текущие архитектуры LLM не готовы к сложным сценариям, где информация «живая» и противоречивая. Для создания реальных ассистентов, работающих с документами, необходимо не просто улучшать retrieval-механизмы, но и разрабатывать методы координации между краткосрочной памятью диалога и долгосрочным контекстом документов, сохраняя при этом прозрачность происхождения данных.
Источник: arXiv cs.CL ↗