Масштаб угрозы: «10x быстрее Промышленной революции»
Демис Хассабис в своем эссе "A Framework for Frontier AI and the Dawning of a New Age" заявляет, что человечество стоит на пороге сингулярности. Он сравнивает потенциал AGI (общего искусственного интеллекта) не с интернетом, а с открытием электричества или огня. По его оценкам, влияние этой технологии будет в 10 раз сильнее, чем Промышленная революция, и произойдет в 10 раз быстрее. Это позволит решить глобальные проблемы: от ускорения разработки лекарств до создания новых источников чистой энергии и материалов, что может привести к эре изобилия.
Предложение: «FINRA для ИИ»
Хассабис предлагает создать Frontier AI Standards Body — орган по стандартам передового ИИ при правительстве США. Эта структура, аналогичная финансовой FINRA, должна регулировать компании, создающие модели уровня frontier. Ключевые элементы предложения:
- Определение: Лаборатории frontier — любые компании, производящие модели, соответствующие техническим бенчмаркам.
- Механизм: Добровольная передача моделей для проверки уязвимостей за 30 дней до релиза.
- Гибкость: Возможность координации замедления разработки (slowdown) при выявлении критических рисков.
Реакция сообщества: «Мало и поздно»
Предложение вызвало поляризацию. С одной стороны, коллеги из Anthropic (Джек Кларк) приветствовали инициативу. С другой — эксперты по безопасности ИИ (MIRI, Connor Leahy, Aaron Scher) указывают на критические пробелы:
- Отсутствие плана действий: Орган будет оценивать опасность, но не имеет полномочий запрещать создание моделей.
- Внутреннее развертывание: Регулирование касается только публичных релизов. Модели, используемые внутри компаний для тренировки более мощных систем, остаются вне контроля.
- Риск захвата: Аналогия с FINRA опасна из-за риска регуляторного захвата; требуется жесткое государственное регулирование (уровень SEC), а не саморегулирование.
Контекст: Отказ Алекса Тернера
Статья также затрагивает уход Алекса Тернера из Google. Он пытался предотвратить использование моделей Google Министерством обороны США для автономного оружия, что противоречило условиям продажи DeepMind. Этот инцидент подчеркивает растущее напряжение между коммерческими интересами, государственными заказами и этическими обязательствами создателей ИИ.
| Аспект | Позиция Хассабиса | Критика экспертов (MIRI, Leahy и др.) |
|---|---|---|
| Уровень риска | «Эксперты не согласны», но признает поворотный момент | Разброс оценок катастрофы: от 5% до ≥50% вероятности гибели человечества |
| Механизм контроля | Стандартный орган (по типу FINRA), добровольная проверка | Недостаточно; требуется запрет на создание ASI или полный мораторий |
| Скорость развития | Необходимо пространство для инноваций, но с возможностью замедления | Замедление невозможно без жестких международных договоров; риск «астероида» |
Инициатива Хассабиса, несмотря на признание масштаба проблемы, воспринимается многими как попытка отсрочить неизбежное без принятия радикальных мер. Вопрос о том, сможет ли саморегулирование индустрии справиться с рисками, сопоставимыми с ядерным оружием, остается открытым.
Источник: LessWrong ↗