GRACE: Графовый ИИ-агент против галлюцинаций LLM

Проблема стандартных RAG-систем

Большие языковые модели (LLM) в критически важных сценариях часто генерируют правдоподобные, но не подтвержденные факты. Стандартные конвейеры генерации, дополненной поиском (RAG), не справляются с этой задачей, так как извлекают изолированные фрагменты текста, не отслеживая связи между документами и не оценивая степень неопределенности.

Архитектура GRACE: Граф-основа

Команда авторов (John Seon Keun Yi, Joshua R. Minot, Dokyun Lee) предложила фреймворк GRACE (Graph-Grounded Reflective Agent Copilot Engine). Система разбивает ответы LLM на атомарные утверждения и сопоставляет их с доверенными знаниями в виде взвешенного двудольного графа. Вес ребер кодирует близость каждого утверждения к исходным данным, что позволяет проводить анализ центральности и классифицировать факты.

Классификация и метрика RoA

GRACE не просто ищет ошибки, но и выявляет новые или спорные утверждения на границе знаний модели. Для оптимизации ресурсов введена цель Return on Attention (RoA) — система откладывает утверждение на проверку эксперту только тогда, когда приоритетная неопределенность превышает стоимость верификации. Подтвержденные экспертом данные становятся новыми якорями, замыкая цикл эволюции базы знаний.

Результаты и сравнение

Оценка проводилась на наборах данных общего и узкоспециализированного профиля. GRACE демонстрирует, что графовая структура в сочетании с экспертной проверкой снижает галлюцинации на системном уровне. Ниже приведено сравнение подходов:

Код проекта доступен по ссылке в оригинальной публикации, представленной на воркшопе AKBC @ EMNLP 2026.

Источник: arXiv cs.CL ↗