Проблема «молчаливой» потери
Сжатие контекста стало стандартом для работы с длинными документами в больших языковых моделях (LLM). Однако существующие методы проверки качества сжатия часто фокусируются только на том, изменился ли финальный ответ модели. Это создает опасную слепую зону: так называемую «молчаливую потерю доказательств» (silent evidence loss). В этом сценарии ключевые факты удаляются из контекста, но модель выдает тот же ответ, опираясь на шум или внутренние знания. Для других систем, использующих этот сжатый контекст, такой ответ становится ненадежным и необоснованным.
Решение: SELD без обучения и меток
Авторы статьи (Wentao Lei и Li Liu) предлагают метод SELD (Silent Evidence Loss Detector). Его главное преимущество — отсутствие необходимости в дообучении моделей или наличии размеченных данных. Принцип работы SELD основан на анализе предпочтений модели: когда важные доказательства удаляются, распределение вероятностей по «невысказанным» ответам модели меняется, даже если главный ответ остается прежним. Сравнивая эти распределения до и после сжатия, SELD выявляет скрытые потери.
Бенчмарк SEL-Pairs и результаты
Для тестирования метода исследователи создали датасет SEL-Pairs, включающий пары сжатых контекстов с совпадающими ответами, но разной степенью потери доказательств. Тестирование проводилось на пяти моделях-читателях (reader models) с использованием различных компрессоров. Результаты демонстрируют превосходство SELD над сильными базовыми методами:
| Метод | Точность выявления потери доказательств | Особенности |
|---|---|---|
| SELD (предлагаемый) | 83% | Не требует обучения, анализирует скрытые предпочтения |
| Сильнейший базовый метод | 70% | Основан на сравнении ответов или наиболее вероятных слов |
SELD стабильно превосходит аналоги при различных уровнях сжатия и на разных моделях, доказывая, что можно детектировать потерю фактической основы ответа, даже когда сам ответ визуально не изменился.
Почему это важно
В сценариях RAG (Retrieval-Augmented Generation) и работы с длинными документами надежность контекста критична. SELD позволяет автоматизировать проверку качества сжатия, предотвращая распространение «пустых» ответов, которые кажутся правильными, но лишены фактологической базы. Это важный шаг к созданию более прозрачных и надежных систем работы с большими текстами.
Источник: arXiv cs.CL ↗