Суть исследования: миф о «глубоком мышлении»
Авторы Adi Krishnamoorthy и X.Y. Han из arXiv (ноябрь 2026) провели строгий бенчмарк 10 передовых языковых моделей (LLM), действующих как автономные агенты-покупатели. Цель — проверить гипотезу: если заставить модель «думать дольше» (увеличить reasoning effort), сделает ли она лучший выбор товара?
Результат оказался парадоксальным для индустрии: увеличение усилий по рассуждению не привело к статистически значимому росту качества решений. Вместо этого модели стали просто увереннее в своих ошибках. Это критически важно для разработчиков AI-ассистентов, полагающихся на self-confidence metrics.
Методология и бенчмарки
Тестирование проводилось на трех реальных платформах электронной коммерции, что обеспечивает высокую валидность данных:
- WebShop — симулированная среда шопинга.
- Amazon SQID — реальные данные с Amazon.
- Wayfair WANDS — данные с платформы Wayfair.
Исследователи измеряли не только правильность выбора, но и калибровку уверенности (насколько заявленный процент уверенности совпадает с фактической точностью).
Ключевые метрики и выводы
Анализ показал три фундаментальных паттерна поведения LLM-агентов:
| Параметр | Результат при увеличении усилий (Thinking Effort) | Статистическая значимость |
|---|---|---|
| Качество решения (Correctness) | Не изменилось | Нет (p > 0.05) |
| Заявленная уверенность (Confidence) | Значительно выросла | Да (p < 0.05) |
| Калибровка уверенности | Большинство моделей плохо откалиброваны | На всех уровнях усилий |
Проблема коллективных ошибок
Отдельно авторы выделили феномен shared errors (совместных ошибок). Ошибки в LLM не случайны: если одна модель ошибается в конкретной задаче выбора товара, другие модели с высокой вероятностью совершат ту же ошибку. Более того, в таких случаях большинство моделей выбирают один и тот же неправильный товар. Это указывает на системные смещения в данных обучения или архитектуре моделей, которые усиливаются при попытке «глубже» проанализировать задачу.
Почему это важно для рынка
Для пользователей AI-шопинг-агентов это означает, что высокая уверенность модели не является индикатором правильного выбора. Для разработчиков — это сигнал к пересмотру подходов к валидации: нужно внедрять внешние проверки (external verification) или ансамблирование с разными типами моделей, а не полагаться на внутреннюю уверенность одного агента.
Источник: arXiv cs.AI ↗
