Проблема: семантическая нестабильность
Большие языковые модели (LLM) часто дают противоречивые ответы на семантически эквивалентные запросы, даже когда факт им известен. Авторы работы, принятой на конференцию EMNLP 2026 (Rosario Uceda-Sosa, Maria Chang, Karthikeyan Natesan Ramamurthy, Moninder Singh), формализовали эту проблему как отсутствие семантической инвариантности. Они доказали, что полная инвариантность к любым преобразованиям смысла вычислительно неразрешима, что потребовало введения концепции scoped semantic invariance — оценки поведения модели в рамках ограниченных семантических доменов.
Методология: графы знаний как контроллеры
Для проверки гипотезы исследователи использовали онтологию MITRE D3FEND и восемь доменов, производных от Wikidata. Графы знаний (KG) выступили в роли явных структур контроля, задающих локальные семантические ограничения. Вместо случайных тестов, команда анализировала структуру ошибок, выявляя паттерны, стабильные для разных моделей и доменов.
Ключевые находки: «Горячие точки» (Hotspots)
Ошибки оказались не случайными, а строго структурированными. Они концентрируются в локализованных подграфах, организованных вокруг трех устойчивых топологических паттернов:
- TREE (древовидные структуры);
- STAR (звездообразные связи);
- CYCLE (циклические зависимости).
Эти «горячие точки» остаются стабильными независимо от архитектуры модели, что указывает на фундаментальные ограничения текущего подхода к обучению.
Решение: выборочное заземление (Grounding)
Исследование показало, что слепое использование графов знаний может ухудшить результаты. Эффективность зависит от стратегии:
| Стратегия заземления | Влияние на корректность | Влияние на согласованность |
|---|---|---|
| Indiscriminate grounding (без выбора) | Регрессия (снижение точности) | Непредсказуемо |
| Selective grounding (выборочное) | Улучшение | Улучшение |
| Layered grounding (многослойное) | Максимальное | Сильный профиль монотонности |
Наилучшие результаты показала многослойная стратегия (layered grounding), которая сохраняет правильные знания и снижает количество противоречий. Важно, что структуры ошибок, найденные через простые тесты, успешно переносятся на сложные задачи композиционного рассуждения.
Значение для индустрии
Работа предлагает переход от «черного ящика» к управляемой надежности. Понимание того, что LLM систематически сбойны в определенных топологических паттернах графов, позволяет инженерам создавать более точные системы RAG (Retrieval-Augmented Generation) и верификации фактов, фокусируясь на устранении конкретных уязвимостей, а не на общей «точности» модели.
Источник: arXiv cs.AI ↗