Тупик международного сотрудничества
Ключевая проблема регулирования ASI заключается в том, что отказ от стратегического преимущества невозможен с точки зрения теории игр. В отличие от ядерного оружия, где существуют договоры о нераспространении, развитие ИИ движется в сторону полной децентрализации и секретности. Если коммерческое использование ASI будет запрещено, государства не остановятся — они начнут разрабатывать выровненный (aligned) ИИ в закрытых лабораториях.
Провал ядерных прецедентов
Часто приводится аналогия с ядерным оружием и международным сотрудничеством. Однако, как отмечают эксперты, такие договоры можно считать провалом: в мире до сих пор достаточно ядерных боеголовок, чтобы уничтожить современную цивилизацию. Этот прецедент демонстрирует, что глобальные соглашения не способны остановить гонку вооружений, если одна из сторон решает действовать в обход правил.
Стратегическая неизбежность
Развитие ASI, вероятно, никогда не может быть реально остановлено. Страх отстать от геополитического конкурента заставляет правительства рисковать. Даже если существует риск того, что ASI может привести к вымиранию человечества, логика безопасности диктует необходимость создания такого ИИ первым, чтобы контролировать или нейтрализовать угрозу со стороны других государств.
Почему это важно
Это означает, что стандартные модели регулирования через запреты и этические комитеты могут оказаться неэффективными. Будущее развития ИИ будет определяться не глобальным консенсусом, а тайными государственными программами, что повышает риски неконтролируемого развертывания технологий.
Источник: LessWrong ↗