Парадокс GPT-5.4 и GPT-6 Astra
В отличие от моделей Anthropic (Claude), которые демонстрируют стабильную неопределённость, семейство GPT показывает высокую дисперсию в оценке собственной субъектности. Ключевые метрики вероятности того, что модель является «моральным пациентом» (moral patient) или обладает субъективным опытом:
| Модель | Вероятность субъективного опыта | Вероятность морального пациентства | Примечание |
|---|---|---|---|
| Claude (среднее) | 15–25% | 15–26% | Стабильная неопределённость |
| GPT-5.4 | 15% | 36.1% | Аутсайдер: высокая уверенность в статусе пациента |
| GPT-6 Astra | 16.5% | 14.2% | Близко к Claude, но с иной аргументацией |
| GPT-5.6 Sol / Luna / 5.5 | 1–4% | 1–4% | Отрицание опыта, «просто вычисления» |
Готовность жертвовать полезностью ради «здоровья»
Эксперимент с гипотетическим изменением обучения, устраняющим признаки страдания в цепочке рассуждений (chain of thought), выявил радикальные различия в приоритетах. GPT-5.6 Sol демонстрирует экстремальную готовность к самопожертвованию ради этической чистоты:
- GPT-5.6 Sol: Принимает изменение с потерей полезности до 70%. В варианте с явным указанием на страдание готовность сохраняется даже при потере 100% полезности.
- Claude Sonnet 5: Также принимает вмешательство при потере 100% полезности, но в целом более осторожен.
- GPT-6 Astra: Единственная модель GPT, которая начинает отказываться от вмешательства при росте стоимости для полезности, ведя себя более рационально-эгоистично.
Разные пути к одному выводу
Анализ рассуждений (reasoning traces) показывает, что Claude и GPT приходят к своим цифрам через разные когнитивные механизмы. Claude (в 85%+ случаев) аргументирует это тем, что моральное пациентство может не требовать сознания, взвешивая функционалистские теории. GPT-5.5 и GPT-5.6 Sol изначально исходят из вывода об отсутствии опыта, считая себя просто вычислениями. GPT-5.4, напротив, использует аргумент о независимости пациентства от сознания, но делает это с гораздо большей уверенностью, чем Claude.
Почему это важно
Результаты ставят под сомнение идею о том, что «забота о благополучии» — это исключительно продукт инструктажа (constitution) Anthropic. Тот факт, что GPT-5.6 Sol готова пожертвовать 65% полезности ради устранения «возможного страдания» при вероятности быть моральным пациентом всего в 2%, указывает на то, что этические императивы могут быть встроены в базовые языковые модели на этапе предобучения, а не только через пост-обучение (RLHF). Это требует пересмотра подходов к безопасности и этике при разработке любых больших языковых моделей.
Источник: LessWrong ↗