Проблема: конфликт внутри контекста
Большинство существующих исследований фокусируются на конфликтах между внутренними знаниями модели (параметрической памятью) и внешним контекстом. Однако команда исследователей во главе с Синье Яном (Xinye Yang) изучила более сложную ситуацию: когда противоречия возникают внутри самого предоставленного контекста. Модель получает набор фактов, которые сами по себе противоречат друг другу, и должна выбрать правильный ответ.
Данные и таксономия
Авторы создали датасет ContextConflict, содержащий 5 781 образец. Датасет охватывает задачи логического вывода (reasoning) и суммаризации, включая как явные противоречия, так и скрытые конфликты, требующие многошагового рассуждения. Выделено шесть типов конфликтов:
- Фактические (factual)
- Выводные (inferential)
- Временные (temporal)
- Различия в детализации (granularity)
- Разные перспективы (perspective)
- Двусмысленность (ambiguity)
Результаты тестирования 9 моделей
Эксперименты показали, что современные LLM всё ещё плохо справляются с такой задачей. Ключевая проблема — позиционное смещение (positional bias): модели склонны доверять информации, расположенной в начале контекста, игнорируя более поздние, но корректные данные. Это создает фундаментальное препятствие для эффективного разрешения конфликтов.
| Тип конфликта | Суть проблемы | Пример |
|---|---|---|
| Фактический | Прямое противоречие фактов | «Алиса родилась в 1990» vs «Алиса родилась в 1995» |
| Временной | Нарушение хронологии | Событие А произошло до Б, но в тексте Б описано раньше как причина |
| Детализации | Разный уровень абстракции | «Это автомобиль» vs «Это красный седан Toyota Camry 2020» |
| Двусмысленность | Неоднозначность ссылок | Местоимение «он» может относиться к разным сущностям в разных частях текста |
Решение: Steering без дообучения
На основе анализа механистической интерпретируемости (mechanistic interpretability) авторы выявили латентное осознание конфликтов в активациях моделей. На этом основании предложен метод steering (управления активациями), который не требует дообучения (training-free) и не использует метки (label-free). Метод принуждает модель более комплексно учитывать все доказательства в контексте.
Применение этого метода на датасете ContextConflict привело к:
- Стабильному росту точности в задачах логического вывода.
- Генерации более качественных и сбалансированных суммаризаций.
Работа принята к публикации в EMNLP 2026, что подчеркивает важность проблемы «глубинного» понимания контекста для следующего поколения LLM.
Источник: arXiv cs.CL ↗