Признание экзистенциальной угрозы
18 сентября 2026 года редакционная коллегия The New York Times опубликовала редакционную статью под заголовком "Humanity Has Avoided Apocalypse Before. Let’s Do It Again" («Человечество избежало апокалипсиса раньше. Давайте сделаем это снова»). Это знаковое событие: впервые такое влиятельное издание вывело на первую полосу проблему потери контроля над ИИ (loss of control) как главную угрозу существованию человечества, сравнивая её с ядерной гонкой времен Холодной войны.
Ключевые политические предложения
Текст статьи предлагает конкретный набор регуляторных мер, которые редакция считает необходимыми для предотвращения катастрофы. В центре внимания — усиление государственного контроля над разработчиками и вычислительными мощностями.
| Направление регулирования | Конкретные предложения NYT |
|---|---|
| Государственный надзор | Создание специальной AI-комиссии в правительстве США и агентства по расследованию инцидентов. |
| Лицензирование | Введение требований к лицензированию компаний, разрабатывающих ИИ (детали применения к обучению или продаже не уточнены). |
| Безопасность контента | Обязательная маркировка (watermarks) всего контента, созданного ИИ, для идентификации происхождения. |
| Тестирование | Обязательное независимое тестирование моделей перед их выпуском на рынок. |
| Международная политика | Ужесточение экспортного контроля, ограничение доступа Китая к полупроводникам и переговоры о «замедлении» развития ИИ с Китаем по образцу ядерных договоров с СССР. |
Критика и упущения
Несмотря на общую поддержку курса, эксперты сообщества (в частности, Бен Пейс на платформе LessWrong) отмечают серьезные пробелы в предлагаемых мерах. Критика сосредоточена на трех пунктах:
- Конституционный ИИ (Constitutional AI): NYT предлагают написать «конституцию» для ИИ, написанную правительством США. Эксперты считают, что это не гарантирует выравнивание ценностей (alignment) и является скорее политическим жестом, чем техническим решением.
- Тестирование только релизов: Обязательное тестирование предлагается только для выпускаемых моделей. Это упущение позволяет компаниям обучать опасные модели, которые никогда не будут проверены независимыми органами, если они не попадут в публичный доступ.
- Отсутствие контроля за вычислениями: Не предложены механизмы отслеживания местоположения чипов или мониторинга их активности, что критически важно для верификации международных договоров.
Почему это важно
Публикация в NYT сигнализирует о сдвиге в мейнстримном дискурсе: угроза экзистенциального риска от ИИ перестает быть маргинальной темой и становится предметом государственной политики. Однако отсутствие предложений по обязательному лицензированию процессов обучения (training runs) и отслеживанию вычислительных мощностей снижает эффективность этих мер. Главный вызов теперь —能否 ли достичь международного консенсуса с Китаем по замедлению развития ИИ, как того требует редакция.
Источник: LessWrong ↗