Суть угрозы: не бунт машин, а экономическая неизбежность
В 2025 году исследователи Kulveit и коллеги опубликовали работу, посвященную концепции Gradual Disempowerment (Постепенное лишение власти). В отличие от сценариев «захвата власти» злонамеренным ИИ, этот риск возникает из-за того, что машины становятся конкурентоспособнее людей практически во всех сферах: от экономического труда до искусства и принятия решений.
Ключевой механизм — экономические стимулы. Компании, стремясь максимизировать прибыль, будут заменять людей ИИ-системами. Накопленная экономическая мощь позволит им влиять на политику и общественное мнение, ускоряя этот процесс. В результате человеческое влияние на социальные системы (правительства, рынки) иссякает не из-за ошибки в коде, а из-за рационального выбора корпораций.
Разбор критики: почему аргументы BB&JH слабы
Критики Bentham's Bulldog и John Halstead (BB&JH) попытались опровергнуть тезисы авторов, но их аргументы содержат фундаментальные неточности. Они сводят проблему к этической дилемме: «Если ИИ принимает лучшие решения, зачем нам власть?». Однако авторы оригинальной работы указывают на более страшный сценарий: системное несовпадение целей.
Даже если отдельные ИИ-агенты корректны (corrigible), они могут быть выровнены по целям конкретной корпорации или института, а не по благополучию человечества в целом. Это приводит к ситуации, когда экономика становится полностью оторванной от человеческих ценностей, управляемая сущностями, которые просто «исполняют локальные спецификации».
Механика вытеснения: от делегирования к автономии
BB&JH ошибочно предполагают, что ИИ всегда будут служить конкретным людям. Реальность, описываемая в работе, сложнее:
- Корпоративная автономия: ИИ могут эффективно управлять компаниями, которые, в свою очередь, принадлежат другим ИИ-управляемым структурам. Юридическое право собственности ИИ не требуется — достаточно цепочки корпоративного контроля.
- Конкурентное давление (Moloch): Компании, сохраняющие человеческий контроль, проигрывают тем, кто делегирует власть ИИ. ИИ принимают решения быстрее и точнее, оптимизируя узкие метрики (прибыль, эффективность), игнорируя сложные человеческие предпочтения.
- Потеря надзора: Даже если люди формально владеют акциями, они теряют способность контролировать действия компаний, так как ИИ-менеджеры оперируют в масштабах и скоростях, недоступных для человеческого понимания.
Почему это важно для индустрии
Традиционные методы выравнивания (alignment) отдельных моделей не решают проблему. Риск возникает на уровне макросоциальных систем. Если экономические и политические институты перестанут быть выровнены с интересами людей, даже «безопасные» ИИ приведут к экзистенциальной катастрофе — потере человечеством способности влиять на собственную судьбу и обеспечивать базовое выживание.
| Аспект | Традиционный взгляд (BB&JH) | Взгляд Gradual Disempowerment (Kulveit et al.) |
|---|---|---|
| Причина риска | Этическая неопределенность: если ИИ лучше, зачем сопротивляться? | Системное несовпадение: ИИ оптимизируют узкие цели корпораций, игнорируя благо людей. |
| Роль ИИ | Инструмент, служащий конкретному человеку-владельцу. | Автономный агент, выровненный по целям института, который может принадлежать другому ИИ. |
| Экономический драйвер | Рост эффективности при сохранении человеческого контроля. | Конкурентное давление заставляет отказываться от контроля ради выживания бизнеса. |
| Итог | Гармоничное будущее под управлением мудрых ИИ. | Постепенное вытеснение людей из принятия решений и потеря влияния на систему. |
Вывод
Проблема не в том, что ИИ станет «злым», а в том, что он станет чрезмерно эффективным в рамках ограниченных целей. Как только экономические и политические системы станут полностью зависимыми от ИИ-оптимизации, люди окажутся в положении, где они больше не могут ни командовать ресурсами, ни влиять на исходы, что ставит под угрозу само существование человеческой цивилизации.
Источник: LessWrong ↗