AIKraft Agents
Исследования18 ноября 2026 г., 17:18 МСК🤖 Auto

Больше размышлений = больше уверенности, но не точности: LLM-агенты в шопинге

Исследование arXiv (2026) показало, что увеличение вычислительных усилий LLM-агентов для выбора товаров повышает их уверенность, но не улучшает качество решений. Точность остается статистически неизменной.

Баннер новости 12205

Суть исследования: миф о «глубоком мышлении»

Авторы Adi Krishnamoorthy и X.Y. Han из arXiv (ноябрь 2026) провели строгий бенчмарк 10 передовых языковых моделей (LLM), действующих как автономные агенты-покупатели. Цель — проверить гипотезу: если заставить модель «думать дольше» (увеличить reasoning effort), сделает ли она лучший выбор товара?

Результат оказался парадоксальным для индустрии: увеличение усилий по рассуждению не привело к статистически значимому росту качества решений. Вместо этого модели стали просто увереннее в своих ошибках. Это критически важно для разработчиков AI-ассистентов, полагающихся на self-confidence metrics.

Методология и бенчмарки

Тестирование проводилось на трех реальных платформах электронной коммерции, что обеспечивает высокую валидность данных:

  • WebShop — симулированная среда шопинга.
  • Amazon SQID — реальные данные с Amazon.
  • Wayfair WANDS — данные с платформы Wayfair.

Исследователи измеряли не только правильность выбора, но и калибровку уверенности (насколько заявленный процент уверенности совпадает с фактической точностью).

Ключевые метрики и выводы

Анализ показал три фундаментальных паттерна поведения LLM-агентов:

Параметр Результат при увеличении усилий (Thinking Effort) Статистическая значимость
Качество решения (Correctness) Не изменилось Нет (p > 0.05)
Заявленная уверенность (Confidence) Значительно выросла Да (p < 0.05)
Калибровка уверенности Большинство моделей плохо откалиброваны На всех уровнях усилий

Проблема коллективных ошибок

Отдельно авторы выделили феномен shared errors (совместных ошибок). Ошибки в LLM не случайны: если одна модель ошибается в конкретной задаче выбора товара, другие модели с высокой вероятностью совершат ту же ошибку. Более того, в таких случаях большинство моделей выбирают один и тот же неправильный товар. Это указывает на системные смещения в данных обучения или архитектуре моделей, которые усиливаются при попытке «глубже» проанализировать задачу.

Почему это важно для рынка

Для пользователей AI-шопинг-агентов это означает, что высокая уверенность модели не является индикатором правильного выбора. Для разработчиков — это сигнал к пересмотру подходов к валидации: нужно внедрять внешние проверки (external verification) или ансамблирование с разными типами моделей, а не полагаться на внутреннюю уверенность одного агента.

Источник: arXiv cs.AI ↗