Суть проблемы: иллюзия подтверждения
Исследователи из команды Sikun Wang, Yixi Zhou, Lei Fan и Fan Zhang представили бенчмарк GraphEcho, который тестирует способность LLM-агентов различать независимые источники информации и структурные дубликаты. Главная гипотеза заключалась в том, что агенты могут ошибочно принимать многократные обходы одних и тех же графовых путей за накопление новых доказательств (corroboration), даже когда контент информации не меняется.
В контролируемых синтетических экспериментах авторы фиксировали содержание доказательств, но варьировали количество путей и их происхождение. Результат оказался тревожным: агенты демонстрируют зависимость от структуры обхода, а не от фактического объема уникальной информации. Повторяющиеся поддерживающие пути увеличивают долю «повторных прогулок» (repeated walks) во всех протестированных замороженных моделях.
Решение PAPT и его компромиссы
Для борьбы с этим явлением команда разработала метод постобучения, aware-aware Post-Training (PAPT), ориентированный на происхождение доказательств (provenance). PAPT успешно снижает количество повторных визитов к одним и тем же узлам графа. Однако этот успех имеет высокую цену: агент начинает охватывать меньшее количество различных источников.
На реальных научных утверждениях (scientific claims) эффект PAPT проявляется еще более противоречиво: хотя агент продолжает избегать дублирования, его точность ответов снижается. Это указывает на фундаментальный разрыв между эффективным исследованием графа и эффективным использованием доказательств.
Ключевые метрики и выводы
GraphEcho предоставляет контролируемый способ оценки двух аспектов работы агентов: что они заключают (judgments) и достигают ли их исследования различных источников доказательств. Ниже приведена сводка наблюдаемых эффектов:
| Метрика / Параметр | Базовая модель (Frozen Agents) | Модель с PAPT |
|---|---|---|
| Доля повторных обходов (Revisits) | Высокая (структурная избыточность) | Снижена |
| Охват источников (Distinct Sources) | Максимальный | Снижен (агент становится «жадным» к уникальности) |
| Точность на научных утверждениях | Базовая | Снижена (trade-off между уникальностью и точностью) |
Почему это важно
Результаты GraphEcho обнажают уязвимость современных RAG-систем и графовых агентов. Если модель не может отличить «новый факт» от «того же факта, найденного по другому пути», ее выводы становятся ненадежными. Метод PAPT показывает, что простое обучение избеганию дубликатов не решает проблему качества информации, а лишь смещает баланс в сторону меньшей полноты. Это требует пересмотра подходов к обучению агентов работе с графами знаний.
Источник: arXiv cs.AI ↗