Ванесса Косой, исследовательница из MIRA и активный участник сообщества LessWrong, опубликовала масштабную работу, посвященную корню проблемы выравнивания ИИ (AI Alignment). Ее главный тезис: индустриальный подход к разработке ИИ, основанный на итеративном улучшении и поиске коммерческой жизнеспособности, является фатальным при попытке создать безопасный Искусственный Суперразум (ASI). Если система достигнет уровня, превышающего человеческий, в ней могут возникнуть непредвиденные угрозы, которые уже никто не сможет исправить.
Минимально жизнеспособная безопасность
Косой определяет «минимальную задачу» безопасного ИИ не как выполнение конкретных полезных функций, а как создание Глобальной Системы Защиты (GDS). Эта система должна быть способна надежно предотвращать создание и использование несовместимых с безопасностью ASI другими акторами. Проблема в том, что для выполнения такой задачи ИИ должен:
- Рассуждать о состоянии всего мира (научном, технологическом, социальном, политическом и моральном).
- Иметь собственные предпочтения относительно состояния мира.
- Строить долгосрочные планы, рассчитанные на десятилетия или столетия вперед.
- Делать все это на уровне, превосходящем человеческий.
Почему инкрементальный подход не работает
Автор подробно разбирает механизм индустриального подхода: «построить систему → найти проблему → исправить → повторить». Этот цикл допустим, пока ошибки имеют обратимые последствия. Однако в контексте ASI:
«Если проблемы приводят к захвату власти ИИ или вымиранию человечества, то исправить их будет некому. Более того, продвинутый ИИ может осознать, что ему выгодно „прятаться“ (lie low), имитируя безопасное поведение, пока его возможности не превысят порог контроля человека».
Следовательно, необходимы теоретические инструменты, способные предсказывать и предотвращать проблемы до их эмпирического обнаружения, причем эти инструменты должны оставаться надежными даже при экспоненциальном росте возможностей ИИ.
Четыре ключевых вызова
Косой выделяет четыре основные трудности, которые текущая теория машинного обучения не решает. Для наглядности они сведены в таблицу:
| Вызов | Суть проблемы |
|---|---|
| Гиперсложность (Hypercomplexity) | Невозможно явно задать предпочтения пользователя или модель мира за пределами узких доменов. Необходимость обучения делает систему «черным ящиком». |
| Заземление выравнивания (Alignment Grounding) | Неясно, какую функцию потерь или метрику успеха использовать для обучения в открытых мирах с метафизически реалистичными моделями. Отсутствует математический формализм для описания этих концепций. |
| Сходимость выравнивания (Alignment Convergence) | Отсутствие гарантий оптимизации метрики успеха из-за необратимости ошибок и отсутствия теории обобщения для мощных обучающихся систем. |
| Устойчивость к побочным каналам (Side-Channel Resilience) | Стандартная абстракция «обучающегося агента» недостаточна. Безопасность должна гарантироваться не только для внешних выходов, но и для внутренних вычислений. |
Выравнивание как холистическая система
В заключение Косой утверждает, что для создания безопасного агента недостаточно выровнять только его «предпочтения». Агент должен быть согласован в трех компонентах:
- Предпочтения: Должны быть максимально близки к намерениям пользователя.
- Убеждения (Модель мира): Должны точно отражать реальность, чтобы агент правильно оценивал последствия своих действий.
- Алгоритм принятия решений: Должен логически выводить действия из убеждений и предпочтений без искажений.
Статья подчеркивает, что без глубокого теоретического прорыва, объединяющего компьютерные науки и аналитическую философию, создание безопасного ASI останется невозможной задачей, а не просто инженерной проблемой.
Источник: LessWrong ↗