Проблема: LLM не справляются с глобальной логикой
При извлечении структурированных данных из неструктурированного текста большие языковые модели (LLM) часто допускают ошибки, связанные с отсутствием глобальной согласованности. Стандартные пайплайны запрашивают LLM независимо для каждого предиката, что приводит к избыточным вызовам и накоплению ложноположительных результатов (галлюцинаций), особенно в задачах, требующих комбинаторного рассуждения.
Решение: Интерливинг LLM и ASP
Авторы (Mario Alviano, Lorenzo Grillo, Nicola Leone, Fabrizio Lo Scudo) предлагают фреймворк, где LLM выступает как генератор кандидатов, а логический решатель Answer Set Programming (ASP) — как контролер. Система работает в цикле:
- ASP-анализ: Определяет, какие предикаты логически допустимы на текущем этапе, исходя из уже извлеченных фактов.
- Направленный запрос: LLM запрашивается только для релевантных предикатов, а не для всех сразу.
- Валидация: ASP проверяет новые факты на противоречия и выводит логически подразумеваемые факты без дополнительных вызовов LLM.
Ключевые технические преимущества
Подход доказуемо эквивалентен базовому методу по результату, но требует значительно меньше вызовов LLM. Авторы внедрили механизм кэширования для запросов контроля, использующий монотонность конъюнктивных запросов над постепенно расширяющимся набором фактов. Это позволяет минимизировать количество обращений к логическому решателю.
Результаты экспериментов
Тестирование на бенчмарках, сгенерированных на основе ASP, показало, что гибридный подход:
- Существенно сокращает количество запросов к LLM.
- Повышает качество извлечения за счет фильтрации ложных срабатываний.
- Обеспечивает раннее обнаружение логических противоречий.
Работа принята к публикации в журнале Theory and Practice of Logic Programming (TPLP) в рамках конференции ICLP 2026.
Источник: arXiv cs.AI ↗