Суть открытия: как ИИ взвешивает уверенность
Исследователь Pranjal Garg проанализировал, как большие языковые модели обрабатывают противоречивую информацию с маркерами уверенности (например, «точно», «вероятно», «возможно»). В отличие от людей, которые учитывают контекст и доверие к источнику, LLM опираются исключительно на лингвистические маркеры. Эксперимент с 1400 утверждениями по 30 темам (музыка, спорт, города) показал, что модели не просто суммируют факты, а используют сложную функцию взвешивания.
Тест на противоречия: «Точно отлично» vs «Вероятно ужасно»
В условиях «целевого контраста» моделям предлагалось выбрать между двумя объектами. Объект А имел оценку «точно отлично» и «вероятно ужасно», а Объект Б — «вероятно отлично» и «точно ужасно». Интуитивно А должен быть предпочтительнее. Результаты подтвердили, что LLM понимают этот нюанс:
| Модель | Выбор в пользу А (интуитивный) | Статистическая значимость |
|---|---|---|
| GPT-5.2 | 100% | Значимо |
| Gemini 4 Argon | 100% | Значимо |
| Claude Haiku 5.5 | 100% | Значимо |
| Mistral Large 4 | 86.7% | 95% CI: 69.3–96.2% |
| Qwen3 235B | 95.7% | 95% CI: 78.1–99.9% |
Почему простые правила не работают?
Классические математические модели агрегации (среднее арифметическое, сумма, максимум) не смогли точно предсказать выбор моделей. Например, простое усреднение показало бы ничью в тестах на повторение, а сумма голосов ошибочно предпочла бы четыре «вероятно приличных» утверждения одному «точно великолепному». LLM демонстрируют поведение, более близкое к когнитивной психологии.
Модель «Нейтрального старта» (Neutral Start Model)
Авторы предложили новую формулу, основанную на модели Андерсона. ИИ начинает с нейтрального впечатления (параметр w), и каждое новое утверждение обновляет это впечатление пропорционально своей уверенности (p) и валентности (v). Чем выше параметр w, тем больше доказательств нужно, чтобы сдвинуть мнение модели от нейтрального. Эта модифицированная модель предсказывает выбор LLM с точностью на 1-5% выше, чем любые из 7 классических правил агрегации.
Корреляция с человеческим восприятием
Для валидации исследователи сравнили оценки моделей с психологическими бенчмарками. У топовых моделей (GPT-5.2, Gemini 4, Claude Haiku 5.5) корреляция Пирсона между их интерпретацией слов и человеческой шкалой составила r = 0.99–1.0. У более слабых моделей (Mistral Large 4, Qwen3 235B) корреляция ниже, но все еще высока: r = 0.93–0.96. Это доказывает, что LLM не просто угадывают, а внутренне выстраивают логическую структуру оценки неопределенности.
Источник: LessWrong ↗