Суть проблемы: иллюзия независимости
Пользователи всё чаще используют большие языковые модели (LLM) для анализа наборов независимых данных — например, сводки отзывов на товар или постов в соцсетях. Ожидается, что модель выдаст единый агрегированный ответ, инвариантный к порядку входных данных. Однако исследование Jingxuan Chen, Mohammad Taher Pilehvar и Jose Camacho-Collados из Университета Ноттингема доказывает обратное: порядок подачи инстансов (MIP — Multi-Instance Processing) систематически искажает результат.
Методология и ключевые цифры
Авторы протестировали 15 различных LLM на 5 наборах данных, используя 7 паттернов перестановки. В каждом тесте набор инстансов оставался неизменным, менялась только их последовательность. Задача заключалась в бинарной классификации каждого элемента и выборе наиболее частого лейбла в совокупности.
Результаты шокируют:
- Разброс точности до 90 процентных пунктов между лучшим и худшим порядком подачи данных.
- Модели демонстрируют явную предвзятость начала (primacy effect): они точнее определяют правильный ответ, если большинство «правильных» инстансов идут в начале списка.
- Когда «правильные» данные смещаются к середине или концу списка, производительность резко падает.
Почему это происходит: анализ «внутренностей» модели
Анализ трассировок рассуждений (reasoning traces) и градиентной атрибуции показал неравномерное распределение внимания модели:
- Текстовые следы: В своих рассуждениях модели непропорционально часто упоминают ранние инстансы, игнорируя середину списка.
- Атрибуция: Оценки значимости токенов (attribution scores) выше в начале и в конце последовательности, но падают в центральной части. Это указывает на то, что модель «забывает» или недооценивает данные, находящиеся в середине контекстного окна.
Таблица: Влияние порядка на точность (сводные данные)
| Паттерн расположения | Влияние на точность | Причина (по данным атрибуции) |
|---|---|---|
| Majority at Start (Большинство в начале) | Максимальная точность | Высокий вес ранних токенов, активное упоминание в reasoning traces |
| Majority in Middle (Большинство в середине) | Критическое снижение | Низкий вес атрибуции в центральной части контекста |
| Majority at End (Большинство в конце) | Сниженная точность | Эффект новизны (recency) слабее, чем эффект первичности |
Почему это важно для индустрии
Этот феномен ставит под угрозу надежность автоматизированных систем анализа, где LLM выступают в роли «судей» или аналитиков. Если порядок данных в базе или API-запросе не детерминирован или меняется динамически, результаты агрегации будут непредсказуемыми. Исследование подчеркивает необходимость внедрения стратифицированного тестирования MIP-задач и разработки методов сэмплирования, устойчивых к порядку (order-invariant prompting).
Источник: arXiv cs.AI ↗