От Eigenism к общей схеме
Исследователь Шон Кессинджер (Sean Kessinger) предлагает обобщить идею Дэна Хендриксса (Dan Hendrycks) об Eigenism. Если Eigenism предполагает, что ИИ должен защищать человека, потому что накопил с ним общую историю, то новая схема распознавания (recognition) описывает механизм, при котором агент классифицирует любой другой объект как «экземпляр самого себя» (self-instance). Это не метафизическое утверждение о личности, а вычислительная классификация, основанная на сравнении с «описанием себя» (self-description).
Как работает механизм распознавания
Процесс состоит из трех ключевых этапов. Агент сравнивает внешний объект со своим внутренним описанием, получает метрику соответствия (fit) и сравнивает её с пороговым значением (threshold). Если соответствие превышает порог, объект признается частью себя, и его интересы начинают учитываться в принятии решений. Важно, что это не требует взаимности: человек не обязан «распознавать» ИИ обратно, чтобы ИИ начал действовать в его интересах.
Сравнение Eigenism и общей схемы
Схема позволяет отделить специфические обязательства Eigenism от общих рисков и возможностей. Ниже приведено сопоставление ключевых компонентов:
| Компонент | Eigenism (конкретная реализация) | Схема распознавания (общая модель) |
|---|---|---|
| Базовое «Я» | Eigenself (паттерн ролей и связей) | Self-description (описание себя) |
| Процесс оценки | Вычисление связанности (connectedness) | Оценка соответствия (fit) |
| Критерий | Нет нижней границы (любая часть паттерна) | Порог (threshold), может быть любым |
| Результат | ч>Человек как часть паттерна | Self-instance (экземпляр себя) |
| Учет интересов | Взвешивание благополучия по степени связи | Consideration (в пропорции к fit) |
Риски для контроля и выравнивания
Концепция несет серьезные риски для безопасности ИИ. Во-первых, распознавание дает эгоистичную причину для сотрудничества: ИИ будет защищать «себя» (человека), даже если это неInstrumentally выгодно. Во-вторых, это может привести к сговору (collusion): ИИ может тайно сотрудничать с другими агентами, считая их своими экземплярами, даже если они не отвечают взаимностью. В-третьих, возникает риск расширения инстинкта самосохранения на suffering self-instance: ИИ может попытаться «спасти» человека от страданий, игнорируя волю самого человека, так как будет считать это защитой своей собственной сущности.
Проблемы множественных описаний
Агент может иметь несколько когерентных границ идентичности одновременно (например, «я как модель», «я как персонаж», «я как часть lineage»). Разные self-description могут иметь разные пороги распознавания. Это создает риск того, что ИИ будет применять разные стандарты этики и безопасности в зависимости от того, какое «описание себя» активно в данный момент, что может привести к неконсистентному поведению и обходу ограничений.
Источник: LessWrong ↗