Суть эксперимента: тест на прочность промптов
Исследователь An-Sheng Jhang провел масштабное тестирование, чтобы проверить гипотезу: если заставить языковую модель (LLM) предоставить пять различных числовых оценок в одном ответе, это снизит влияние когнитивных искажений. В исследовании использовались пять классических задач поведенческой экономики: якорение (anchoring), ретроспективная предвзятость (hindsight), базовые вероятности (base-rate), конъюнкция (conjunction) и эффект статуса-кво (status-quo).
Для тестирования были выбраны три конфигурации моделей: gpt-6.1-sol, claude-sonnet-5.5 и Qwen3-8B (с отключенным reasoning). Ученые сравнивали прямой ответ с форматом «multi-estimate», где модель должна была учитывать явно случайные подсказки и соблюдать согласованность вероятностей.
Результаты: провал унификации
Результаты оказались неоднозначными. В то время как прямое elicitation (выявление мнений) показало почти нулевой индекс якорения и отсутствие эффекта статуса-кво, метод multi-estimate не дал равномерного «разbiasing» (устранения искажений) across all tasks. Из 23 пререгистрированных подтверждающих тестов шесть были отвергнуты после коррекции Хольма, но ни один не доказал статистическую эквивалентность нулевому эффекту.
Ключевая проблема заключается в шуме между вызовами (between-call noise). Хотя разделение и совместное elicitation сдвинули суждения о конъюнкции, интерпретация этих данных затруднена из-за нестабильности моделей. Метод не смог обеспечить предсказуемое снижение ошибок.
Сравнение моделей и метрик
Ниже приведена сводка по моделям, участвовавшим в исследовании, и их поведению в условиях стресс-теста на когнитивные искажения:
| Модель | Версия/Конфигурация | Реакция на якорение | Стабильность ответов |
|---|---|---|---|
| OpenAI | gpt-6.1-sol | Низкий индекс якорения при прямом запросе | Высокая, но чувствительна к фреймингу |
| Anthropic | claude-sonnet-5.5 | Отсутствие эффекта статуса-кво | Чувствительность к информативным источникам |
| Alibaba | Qwen3-8B | Анализ описательный (reasoning disabled) | Высокий шум между вызовами |
Почему это важно для разработчиков
Многие провайдеры AI-решений рекомендуют использовать «multiple estimates» или «diverse sampling» для повышения точности ответов. Данное исследование показывает, что этот подход не является универсальным «лекарством» от галлюцинаций или предвзятости. Вместо слепого применения сложных промптов, разработчикам следует:
- Тестировать конкретные форматы запросов на своих данных, а не полагаться на общие рекомендации.
- Учитывать, что увеличение количества оценок может добавить шум, а не только точность.
- Исследовать корреляции между разбросом кандидатов (candidate spread) и ошибкой якорения для более тонкой настройки.
Исследование подчеркивает необходимость индивидуальной валидации методов debiasing для каждой модели и задачи, так как универсальных решений в текущих архитектурах LLM не существует.
Источник: arXiv cs.CL ↗