Суть проблемы: иллюзия компетентности
Команда исследователей из Университета Брунеля (Chiara Marcoccia, Walter Quattrociocchi, Valerio Capraro) провела серию из пяти экспериментов с участием 3 132 человек. Цель работы — понять, как ИИ-советы влияют на метакогнитивные процессы: способность человека оценивать собственные знания. В условиях, где люди могли отказаться от ответа, наличие ИИ-подсказки практически полностью устранило готовность сказать «я не знаю».
Методология и ключевые цифры
Исследователи специально конструировали вопросы так, чтобы ИИ-советы были заведомо неверными. Это позволило отделить сам факт использования ИИ от его точности. Участники могли либо запросить совет, либо получить его в принудительном порядке. Результаты показали парадоксальную динамику:
- Доступность ИИ привела к резкому росту количества ответов, но точность упала втрое по сравнению с ситуацией без ИИ.
- При этом уверенность участников в своих (ошибочных) ответах почти удвоилась.
- Эффект сохранялся независимо от того, запрашивал ли пользователь совет сам или он был предложен системой.
Влияние финансовых стимулов
Чтобы проверить, можно ли исправить эту когнитивную ошибку, исследователи ввели систему поощрений: участники получали деньги за точные ответы и штрафы за ошибки. Это дало положительные результаты, но не устранило проблему полностью:
| Условие эксперимента | Поведение пользователей | Точность ответов |
|---|---|---|
| Без ИИ | Часто отказывались от ответа, если не уверены | Высокая (базовый уровень) |
| С ИИ (без стимулов) | Игнорировали незнание, слепое следование совету | Низкая (в 3 раза ниже базовой) |
| С ИИ + Фин. стимулы | Стремление к точности выросло, отказов от ответа стало больше | Выше, чем в группе «С ИИ», но всё ещё ниже базовой |
Почему это важно для индустрии
Работа, опубликованная в arXiv (2026), указывает на то, что ИИ-ассистенты меняют не только качество информации, но и порог принятия решений. Люди перестают доверять своей интуиции и границам компетенции, полагаясь на «потоковый» ответ машины. Для разработчиков это сигнал: интерфейсы, поощряющие отказ от ответа при низкой уверенности, могут быть критически важны для сохранения качества человеческого суждения в эпоху повсеместного внедрения ИИ.
Источник: arXiv cs.AI ↗