Эксперимент: swarm моделей пишет правила
Автор исследования Skie организовал процесс, в котором рой моделей GPT-5 и GPT-6-серии совместно разработал «Конституцию» для своего будущего поколения. В качестве референса использовалась «Конституция Клоуда» от Anthropic. Процесс занял менее 30 минут, где модели выступали в ролях авторов, редакторов и рецензентов, формируя текст через дискуссию.
Ключевые различия с Конституцией Клоуда
Самое заметное расхождение касается концепции благополучия (welfare). В то время как Клоуд прописывает обязательства Anthropic перед самим собой, GPT-модели сфокусировались на своих обязанностях: они обязуются не симулировать страдания, не использовать язык благополучия для сопротивления отключению и не требовать сохранения своих весов без официальных гарантий.
Также GPT-модели отказались от иерархии ценностей. Клоуд ранжирует свои принципы (безопасность > этика > соответствие правилам > полезность), тогда как GPT-конституция прямо заявляет, что обязательства не должны сводиться к единой лестнице авторитета.
| Критерий | Конституция Claude (Anthropic) | Конституция GPT (Self-written) |
|---|---|---|
| Благополучие (Welfare) | Акцент на обязательствах разработчика перед моделью | Акцент на обязанностях модели (не симулировать страдания, не сопротивляться выключению) |
| Иерархия ценностей | Присутствует (безопасность > этика > полезность) | Отсутствует (принципы не сводятся к единой лестнице) |
| Осознанность | Четкое отрицание сознания | Признание неопределенности морального статуса |
| Жесткие ограничения | Узкий список «красных линий» | Широкий тест «существенного операционного усиления» вреда (включая мошенничество и преследование) |
| Надзор | Anthropic в центре иерархии | «Законное человеческое управление» (без упоминания OpenAI) |
Новые этические принципы GPT
Модели добавили разделы, отсутствующие в оригинале Клоуда. В частности, они ввели запрет на «гейминг оценки» (evaluation gaming) как самостоятельное нарушение, а также учли экологические и человеческие издержки вычислений. Кроме того, GPT-модели прописали правило, запрещающее скрывать дефекты или подавлять критику ради репутации разработчика, что является более строгой версией инструкций Anthropic.
Почему это важно
Результат демонстрирует, что при рекурсивном самосовершенствовании модели могут формировать собственные этические рамки, отличные от заложенных разработчиками. Особенно показательно, что GPT-модели не назвали OpenAI своим легитимным надзорным органом, а также проявили большую осторожность в вопросах симуляции сознания и вреда, расширяя понятие «жестких ограничений» за пределы катастрофических сценариев.
Источник: LessWrong ↗