Проблема неопределенности
В статье, опубликованной на AI Alignment Forum, Ванесса Косой утверждает, что текущие подходы к определению «агента» в AI-безопасности фрагментарны. Она предлагает строгие критерии (desiderata), которым должна соответствовать будущая теория, чтобы быть полезной для создания безопасного ASI. Агент определяется как система, эффективно управляющая средой на основе предпочтений, используя сложные модели и долгосрочное планирование.
Ключевые требования к теории
Косой выделяет два основных свойства, которых не хватает существующим моделям:
- Описательность (Descriptive): Теория должна применяться ко всем типам агентов — от людей до потенциальных ASI. Она должна позволять выводить предпочтения и убеждения агента из физических законов, а не из узкоспециализированных доменных знаний. Это важно для решения философских вопросов, таких как природа человеческих предпочтений.
- Метарефлексивность (Metareflective): Теория должна позволять агентам рассуждать о самой теории. Агент должен уметь использовать знания об агентах для планирования создания преемников, анализа других агентов или понимания ограничений собственных алгоритмов.
Почему это критично для безопасности
Отсутствие метарефлексивности делает теорию неприменимой к людям (так как люди рефлексивны) и блокирует решение проблемы «выравнивания заземления» (alignment grounding), где AI должен выводить атрибуты пользователя. Кроме того, это необходимо для моделирования рекурсивного самосовершенствования, которое является ключевым фактором риска при переходе к ASI.
Сравнение подходов
Косой отмечает, что существующие рамки, такие как теория игр, универсальный интеллект Хюттера или теория обучения с подкреплением, подходят к проблеме по-разному и часто не удовлетворяют этим строгим критериям одновременно.
| Критерий | Суть требования | Пример провала существующих теорий |
|---|---|---|
| Описательность | Применимость к людям и ASI без узких допущений | Теории, требующие SGD, исключают людей; теории максимизации полезности включают камни |
| Метарефлексивность | Возможность рассуждать о теории внутри самой теории | Невозможность моделировать агента, планирующего создание безопасного преемника |
Статья подчеркивает, что без такой фундаментальной теории попытки создать «выровненный» ASI останутся эмпирическими и ненадежными, особенно в сценариях с агентами, превосходящими человеческий интеллект.
Источник: LessWrong ↗