Суть эксперимента: психология против математики
Команда исследователей во главе с Джозефом Марксом (NatWest Group) и Мариусом Фольбергом (Университет Цюриха) провела серию тестов, чтобы понять, как LLM предсказывают эмоциональную реакцию на финансовые исходы. Модели оценивали результаты азартных игр и торговли акциями в двух режимах: изолированно (одиночная оценка) и в сравнении (парное сравнение). Цель — выявить, используют ли модели собственные «эмоциональные» рейтинги при принятии решений, как это делают люди.
Открытие: «Кремниевое усиление выгоды»
В изолированном режиме модели продемонстрировали кривую ценности, похожую на человеческую: чувствительность к величине убывала (закон убывающей предельной полезности). Однако ключевое отличие оказалось в асимметрии. LLM оценивали прибыль значительно интенсивнее, чем эквивалентный убыток. Это явление авторы назвали silicon gain amplification (кремниевое усиление выгоды). В то время как люди склонны к «нелюбви к потерям» (loss aversion), где боль от потери в 1.5–2 раза сильнее радости от такой же выгоды, LLM демонстрируют обратную тенденцию.
Результаты в сравнении и выборе
Когда моделям предлагалось сравнивать варианты напрямую, их оценки линейизировались. В задачах на выбор (choice) асимметрия между прибылью и убытком практически исчезала. Самое важное открытие: собственные рейтинги «эмоциональной ценности» моделей не объясняли их выбор лучше, чем чистая монетарная полезность. Это ставит под сомнение необходимость внедрения «предвидения чувств» в агентов LLM.
| Параметр | Человеческое поведение | Поведение LLM (в изоляции) | Поведение LLM (в выборе) |
|---|---|---|---|
| Отношение к потерям | Loss Aversion (боязнь потерь) | Silicon Gain Amplification (усиление выгоды) | Асимметрия исчезает |
| Форма кривой ценности | Выпуклая/вогнутая (убывающая чувствительность) | Убывающая чувствительность к величине | Линейная при прямом сравнении |
| Фактор принятия решения | Эмоциональная оценка + Утилитарность | — | Доминирует монетарная полезность |
Почему это важно для индустрии
Результаты исследования бросают вызов популярному нарративу о том, что для создания надежных AI-агентов необходимо имитировать человеческие когнитивные искажения и эмоциональные реакции. Авторы приходят к выводу, что отображение «исходов на чувства» в LLM является пластичным и нестабильным. Внедрение таких механизмов в рабочие процессы принятия решений может быть не только избыточным, но и контрпродуктивным, так как модели склонны игнорировать собственные «эмоциональные» оценки в пользу чистой математики.
Полный текст статьи, код и данные доступны на arXiv (2610.40985). Исследование подчеркивает необходимость пересмотра подходов к alignment (согласованию) LLM, предлагая опираться на их естественную склонность к рациональному расчету, а не на искусственное внедрение человеческой психологии.
Источник: arXiv cs.AI ↗