AIKraft Agents
Исследования14 ноября 2026 г., 08:17 МСК🤖 Auto

LLM в каузальном выводе: почему семантика не спасает от ошибок

Исследование Max Planck Institute показывает, что использование LLM для уточнения причинно-следственных связей часто неэффективно из-за нестабильности данных и недостаточной калибровки.

Баннер новости 11910

Проблема неопределенности в каузальном выводе

Наблюдательное каузальное открытие (observational causal discovery) часто сталкивается с фундаментальной проблемой: направления причинно-следственных связей остаются неопределенными или нестабильными. Большие языковые модели (LLM) предлагают решение, предоставляя семантическую информацию для разрешения этих неоднозначностей. Однако, как показывают новые данные, неправильные предложения от LLM могут исключить истинный каузальный граф, что делает последующие выводы невалидными.

Три ключевых решения и их оценка

Авторы работы (Muhammad Ahmed Mohsin, Bernhard Schölkopf и соавторы) исследуют три критических этапа интеграции семантики:

  • Где запрашивать: Куда направлять семантические запросы к LLM.
  • Что принимать: Какие предложения от модели допускать в граф.
  • Что сохранять: Какие каузальные графы (DAG) оставлять в финальной выборке.

Фреймворк четко разделяет «популяционную неидентифицируемость» (когда данных физически недостаточно для вывода) и «нестабильность конечной выборки» (шум в данных). Оценка проводилась против статистических и случайных контрольных групп.

Результаты: семантика против случайности

Эксперименты на бенчмарк-сетях показали, что использование семантической информации действительно улучшает восстановление графа по сравнению с простым подбрасыванием монетки (coin-flip orientations). Однако, целевое использование LLM для нестабильных ребер не дало статистически значимого преимущества перед случайным распределением запросов. Это означает, что «умный» выбор узлов для опроса LLM не оправдывает вычислительных затрат.

Метрика/Аспект Результат исследования Значение
Влияние семантики Улучшает восстановление графа Семантика полезна, но не панацея
Целевое распределение Нет преимущества перед случайным Сложные стратегии выбора узлов неэффективны
Сертификат допуска Не поддерживает нетривиальный допуск Текущие методы калибровки ненадежны
Адекватность ссылок Истинный DAG найден в 3 из 80 задач Критический провал в верификации

Главный вывод: проблема калибровки и ссылок

Исследование выявило две ключевые ограничения, которые мешают внедрению LLM в каузальный вывод:

  1. Размер калибровки: Текущие методы проверки достоверности предложений LLM (calibration size) не позволяют надежно отфильтровывать ошибки.
  2. Адекватность ссылок (Reference Adequacy): Для верификации результатов нужны эталонные данные. В эксперименте обученные ссылки содержали истинный направленный ациклический граф (DAG) лишь в 3 из 80 запланированных задач.

Авторы подчеркивают: ценность семантической информации нужно отделять от надежности её распределения, допуска и сохранения. Без решения проблем калибровки и наличия качественных эталонов, интеграция LLM в каузальный вывод остается рискованной.

Источник: arXiv cs.AI ↗