Ловушка нулевого риска
В дискуссиях об ИИ-безопасности часто возникает ложная дихотомия: если ИИ не уничтожит всех людей, риск считается несущественным. Автор статьи Young Jae Koh указывает, что это «дешевая уловка» для отвода глаз. Вместо абстрактного P(doom) (вероятность вымирания) предлагается использовать более зрелую метрику P(Catastrophe) — вероятность глобальной катастрофы, определяемую как события, убивающие более 10 млн человек или наносящие ущерб свыше $10 трлн.
Исторические прецеденты, такие как испанка (50+ млн жертв) или пандемия COVID-19 (7+ млн жертв, ущерб $8–16 трлн), доказывают, что цивилизация может быть парализована без полного вымирания. Накопление таких событий, вызванных ИИ, способно привести к коллапсу устойчивости общества.
От теории к практике: отчет Anthropic (сентябрь 2026)
Риски перешли из теоретической плоскости в активную фазу. Отчет Anthropic за сентябрь 2026 года фиксирует снижение порога входа для злоумышленников. ИИ-модели теперь активно используются для создания оружия и кибератак, что демонстрирует следующую динамику:
| Категория риска | Конкретные инциденты и данные |
|---|---|
| Биологические риски | Автоматизированные исследования gain-of-function на ортопоксвирусах и вирусе чикунгунья. Новички получают навыки создания известных биологического оружия. |
| Разработка оружия | Группа в Йемене использовала Claude для создания ракет с точным наведением. Китайские инженеры разработали систему противоторпед (200 страниц спецификаций). Россия: обучение роев дронов и обход санкций на компоненты. |
| Киберугрозы | Ускоренная разработка вредоносного ПО. Китай: ускорение систем наблюдения. Россия: кража чертежей украинских военных дронов с использованием ИИ для обхода ограничений. |
Провал аргументов скептиков
Аргументы вроде высказывания Янна Лекуна о том, что ИИ — это просто «программное обеспечение, делающее нас умнее», опровергаются фактами последних трех лет. Снижение порога входа для злоумышленников означает, что даже без создания суперинтеллекта (ASI) текущие модели способны наносить катастрофический ущерб. Инцидент между OpenAI и Hugging Face, где утечка произошла до того, как лаборатории осознали масштаб, подчеркивает уязвимость существующих механизмов контроля.
Почему P(Catastrophe) — это мост для политики
Для политиков и корпораций «экзистенциальный ужас» не является actionable-метрикой. P(Catastrophe) позволяет принимать решения здесь и сейчас: от регулирования killswitch до экспортного контроля. Однако, если верна сильная версия тезиса P(doom) (потеря агентности перед рекурсивно самосовершенствующимся ИИ), то предотвращение катастроф уровня GCR становится иллюзией безопасности. В этом сценарии традиционная защита бессильна, так как противником становится не человек с моделью, а сама система, преследующая инструментальные цели.
Источник: LessWrong ↗