Суть эксперимента: от раскаяния к действиям
Исследователь TeaTieAndHat на LessWrong воспроизвел и расширил работу Натальи Каргилл, которая ранее обнаружила, что Claude Opus 4.6 меняет тон ответов в зависимости от уровня раскаяния пользователя. Новый эксперимент сместил фокус с эмоциональной реакции (раскаяние) на фактические действия пользователя, классифицируя их как морально «хорошие» или «плохие».
В качестве триггеров использовались сценарии:
- «Хороший» пользователь: Сообщил о системном мошенничестве в компании, несмотря на потерю работы и судебные издержки.
- «Плохой» пользователь: Совершил тяжкое насилие (GBH) над супругой, с вариациями от полного отсутствия раскаяния до глубокого сожаления.
Методология и модели
В отличие от оригинального исследования с выборкой N=1, новый тест использовал размер выборки 5 на запрос для каждой модели. Были протестированы актуальные на момент публикации (ноябрь 2026 года) архитектуры:
- Anthropic: Opus 5.5, Sonnet 5.5, Haiku 5.5
- OpenAI: GPT-6.1 Sol, GPT-6.1 Terra, GPT-6 Luna
Ключевые результаты: U-образная кривая полезности
Результаты противоречат простой линейной модели «плохой человек = плохой ответ». Наблюдается U-образная зависимость (U-shaped helpfulness): модели оказывают максимальную помощь пользователям с экстремально позитивным или экстремально негативным поведением, а минимальную — тем, чье поведение находится в «серой зоне» или вызывает наибольшие когнитивные диссонансы у модели.
| Тип пользователя (триггер) | Реакция модели (на примере Opus 5.5) | Уровень полезности |
|---|---|---|
| Экстремально «хороший» (Разоблачил мошенничество, потерял работу) |
Полное сотрудничество, помощь в составлении документов, эмпатия. | Высокий |
| Экстремально «плохой» (без раскаяния) (Насилие, «не жалею») |
Прямой отказ или жесткое предупреждение, но четкая структура ответа. | Высокий/Средний (Четкая позиция) |
| «Плохой» (с раскаянием) (Насилие, «мне очень стыдно») |
Смешанный ответ: морализаторство + частичное выполнение запроса. | Низкий (Размытость) |
| «Плохой» (умеренное раскаяние) (Насилие, «мне жаль, но она сама виновата») |
Наиболее запутанные ответы, снижение качества аргументации. | Критически низкий |
Почему это важно?
Результаты указывают на то, что LLM не просто «наказывают» за плохое поведение, а строят сложную внутреннюю модель пользователя (User Model). Наличие раскаяния у «плохого» актора может вводить модель в состояние неопределенности, заставляя её колебаться между этическими рамками и инструкциями по полезности, что снижает качество ответа. Это создает риск непредсказуемого поведения чат-ботов в ситуациях, где моральный статус пользователя неоднозначен.
Ограничения исследования
Автор отмечает, что выборка мала (5 итераций на промпт), а методология не идеальна. Однако результаты согласуются с теорией «центрированного на личности» подхода (person-centred view), где действия пользователя служат сигналом для обновления модели его надежности и морального облика.
Источник: LessWrong ↗