Проблема существующих определений
В статье на LessWrong Бернс анализирует фундаментальные недостатки современных подходов к коррегируемости (corrigibility) ИИ. Он выделяет две критические ошибки:
- Чрезмерная эпистемология: Попытки свести коррегируемость к неопределенности ИИ относительно своих целей. Это приводит к парадоксу «полного подчинения» (fully updated deference), где ИИ, став полностью осведомленным, перестает слушать людей.
- Избыточная нормативность: Попытки сделать коррегируемость единой целью, основанной на сложных этических приоритетах. Это размывает фокус и делает формализацию невозможной.
Новая модель: Уважение к авторитету
Автор предлагает новую архитектуру, основанную на аналогии с медицинским доверенным лицом (healthcare proxy). Ключевая идея — разделение на два компонента:
- Ограничение вмешательства: ИИ должен строго уважать «зарезервированные полномочия» человека (reserved powers) и не пытаться их перехватить или изменить.
- Исполнение воли: В рамках этих ограничений ИИ действует от имени человека так, как тот оценил бы наилучшим образом.
Три вида неопределенности
Для формализации этой модели автор вводит классификацию неопределенностей, с которыми сталкиваетсяbounded reasoner (ограниченный разум):
| Тип неопределенности | Источник | Пример |
|---|---|---|
| Логическая | Дедукция теорем | Результат вычислений или логических выводов |
| Эмпирическая | Наблюдения мира | Физическое состояние окружения |
| Нормативная | Человеческие суждения | Что является «лучшим» миром или действием |
От RLHF к идеализированному суждению
Бернс критикует современный RLHF (Reinforcement Learning from Human Feedback) за «эффект голодного судьи» — зависимость решений от временных факторов и человеческих несовершенств. Вместо слепого копирования обратной связи, ИИ должен стремиться к рефлексивной идеализации интересов человека. Пример: курильщик хочет курить сейчас, но его долгосрочный интерес — здоровье. Идеальный ИИ не просто выполняет текущее желание, а агрегирует все контраргументы и интересы, находя истинно наилучшее решение для субъекта.
Значение для безопасности ИИ
Предложенный подход позволяет получить гарантии на уровне теорем в трех формальных моделях. Он смещает фокус с «угадывания» человеческих ценностей на создание системы, которая технически не может узурпировать власть у человека, оставаясь при этом эффективным агентом его интересов.
Источник: LessWrong ↗