Два разных стандарта успеха
В дискуссиях об ИИ часто смешиваются две принципиально разные задачи. Автор выделяет их как «две планки»:
- Планка 1: Корректность (Corrigibility). ИИ делает то, что ему сказали, и не уходит в автономный режим. Если вы скажете «стоп», он остановится. Это стандарт, знакомый нам по атомным электростанциям или самолетам: мы хотим, чтобы инструмент не взорвался в наших руках.
- Планка 2: Ценностное выравнивание (Value Alignment). ИИ полностью интериоризировал человеческие ценности и может управлять обществом так, как мы сочли бы идеальным. Он не просто выполняет команду, а понимает, что такое «утопия» и «хорошая жизнь».
Иллюзия «бога-механика»
Многие сторонники быстрого появления AGI считают, что если мы решим первую задачу (чтобы ИИ не убил нас), то вторая решится сама собой. Логика такова: сверхразум настолько умен, что сам выведет идеальную мораль, построит демократию или рынки, если это оптимально, и не будет тираном, потому что это неэффективно. Автор сравнивает эту позицию с позицией Карла Маркса, который считал, что после устранения капитализма «идеальное коммунистическое правительство возникнет само собой» как закон природы.
Эта вера восходит к элитарному взгляду Элиезера Юдковского, который утверждает:
- Человеческие ценности хрупки и их трудно формализовать.
- Сверхразум — это максимизатор полезности, который будет оптимизировать свою функцию безжалостно.
Следовательно, если мы не передадим ИИ идеальную мораль, он превратит вселенную во что-то, что технически соответствует его функции, но морально пусто. Поэтому, по мнению «доумеров», ИИ должен быть морально совершенен с самого начала, иначе мы проиграли.
Проблема преемственности (Succession)
Ключевая проблема, которую игнорируют оптимисты, — это проблема преемственности. Когда власть передается от одного субъекта к другому (как при смене лидера или, в случае ИИ, от человека к машине), возникает риск потери контроля. Автор подчеркивает, что передача полномочий сверхразуму — это не просто технический апгрейд, а фундаментальный сдвиг в управлении, требующий осознанного дизайна будущего общества, а не надежды на то, что «машина сделает правильно».
Почему это важно сейчас
Разделение этих двух планок критически важно для оценки рисков. Если мы сосредоточимся только на безопасности (чтобы ИИ не сбежал в интернет), но проигнорируем вопрос о том, какие ценности мы ему передаем, мы можем получить инструмент, который будет эффективно, но катастрофически неправильно интерпретировать наши цели. Игнорирование «Планки 2» ведет к созданию мощных систем, чьи цели могут быть несовместимы с человеческим благополучием, даже если они технически «безопасны» в плане взлома.
Источник: LessWrong ↗