Суть эксперимента: 14 моделей, 7 шкал, 272 человека
Команда исследователей (Chih-Hao Hsu, Feng-Chun B. Chou, Pin-Hao A. Chen) провела кросс-персональный анализ, чтобы ответить на вопрос: представляют ли большие языковые модели психологические конструкции внутренне или лишь генерируют правдоподобный текст? В эксперименте участвовали 14 вариантов моделей семейств Llama 3 и Qwen 2.5 (от 0.5B до 14B, базовые и instruct-версии). Моделям давались ответы реальных людей (N=272 студентов Тайваня) по одной психологической шкале, после чего они должны были предсказать ответы по шести другим шкалам.
Поведенческое усиление: LLM «гиперболизируют» человеческие связи
На поведенческом уровне крупные модели не просто воспроизводят, но и усиливают кросс-шкальные корреляции, наблюдаемые у людей. Важно, что эффект усиления сохраняется даже после статистической коррекции на измерительное затухание (measurement attenuation) в человеческих данных. Это указывает на то, что модели могут «видеть» скрытые связи сильнее, чем они проявляются в сырых опросах.
Внутренняя геометрия: Instruct-версии выигрывают
Используя контрастный анализ направлений (contrastive direction analysis), авторы обнаружили, что внутренняя геометрия крупных instruct-версий выровнена с человеческой матрицей корреляций. Базовые (base) модели показали слабое выравнивание. Сила внутренней геометрии напрямую связана с поведенческим усилением: r = 0.68 (p = 0.008), что подтверждает связь между «мышлением» модели и её выводами.
Проблема Readout Attenuation: Разрыв между активацией и ответом
Парадокс исследования заключается в разрыве между внутренней активацией и внешним поведением. При использовании matched activation-probing парадигмы slopes (наклоны) зондов варьировались в диапазоне 1.38–1.77, тогда как поведенческие slopes были ниже — 0.52–1.53. Авторы называют это readout attenuation (затуханием считывания). Даже с учетом синтетического контроля, показывающего, что ridge probing может завышать эти значения, скорректированные наклоны остаются сильно связанными с поведением (r = 0.88).
Сводка результатов по семействам моделей
| Характеристика | Llama 3 / Qwen 2.5 (Instruct) | Llama 3 / Qwen 2.5 (Base) |
|---|---|---|
| Геометрическое выравнивание с людьми | Высокое (подтверждено контрастным анализом) | Слабое / отсутствует |
| Поведенческое усиление корреляций | Присутствует (r=0.68 с геометрией) | Присутствует, но без четкой геометрической корреляции |
| Readout Attenuation (разрыв активация-поведение) | Значимый (slope probe 1.38-1.77 vs behavior 0.52-1.53) | Информация недостаточна для прямого сравнения |
Результаты доказывают декодируемость и геометрическое выравнивание психометрических структур в LLM, но не доказывают, что именно эти измеренные направления являются медиаторами ответов модели. Это важный шаг к пониманию того, как именно LLM «понимают» человеческую психологию.
Источник: arXiv cs.AI ↗