В то время как дискуссии о необходимости «паузы» в развитии искусственного интеллекта набирают обороты, исследователь Джордан Арель предлагает контраргументы. Он утверждает, что искусственное замедление прогресса в краткосрочной перспективе (менее 2 лет) может создать ложное чувство безопасности и упустить критически важные возможности для решения глобальных проблем.
Риск «ложной безопасности» и политизация
Один из главных аргументов против паузы — эффект «мальчика, кричавшего на волка». Если замедлить развитие до того, как общество увидит реальные угрозы, тема ИИ станет слишком политизированной и будет восприниматься всерьез только тогда, когда будет слишком поздно. Кроме того, техники безопасности, достаточные для современных моделей, могут оказаться недостаточными для продвинутых ИИ-систем будущего. Пауза может отвлечь ресурсы от поиска решений для будущих, более опасных моделей.
Накопление «оверхэнга» (overhang)
Арель выделяет риск накопления технологического и человеческого потенциала, который может быть использован в будущем. Если исследования замедлятся, но аппаратное обеспечение (compute) продолжит развиваться, или если новые идеи для обучения ИИ будут копиться в тени, то при возобновлении полноценных исследований мы столкнемся с резким скачком возможностей. Это включает в себя:
- Рост вычислительных мощностей (compute overhang).
- Прогресс в робототехнике.
- Приток новых исследователей в область.
- Прогресс в биологии, снижающий порог для создания опасных патогенов с помощью ИИ.
Стратегическое преимущество и безопасность
Лаборатории, ориентированные на безопасность, сейчас находятся впереди. Пауза может лишить их этого преимущества. Если пауза сорвется, у этих лабораторий не будет буфера для замедления, когда это станет действительно необходимо. Кроме того, получение ИИ уровня человека раньше может дать нам инструменты для улучшения исследований по выравниванию (alignment), прогнозирования и координации.
Глобальные выгоды и геополитика
Быстрое развитие ИИ может приблизить «долговечность, избегающую смерти» (longevity escape velocity), спасая жизни уже сейчас, а также помогая в борьбе с бедностью, изменением климата и улучшении благополучия животных. С геополитической точки зрения, координированная пауза потребует участия текущих администраций (например, администрации Трампа и КПК), чьи составы могут измениться в ближайшие пару лет, что сделает соглашение нестабильным.
Сводка рисков и выгод
Ниже приведено сравнение ключевых аргументов за и против замедления, основанное на тезисах автора:
| Критерий | Аргументы ЗА паузу (упоминаемые в контексте) | Аргументы ПРОТИВ паузы (позиция Ареля) |
|---|---|---|
| Восприятие рисков | Необходимость остановить гонку вооружений | Риск политизации и потери серьезности отношения к ИИ |
| Технологический прогресс | Дает время на разработку мер безопасности | Создает «оверхэнг» технологий, который сложнее контролировать позже |
| Безопасность (Safety) | Предотвращение катастрофических сценариев | Лишает безопасные лаборатории стратегического преимущества |
| Социальный эффект | Снижение экзистенциальных рисков | Ускорение прорывов в медицине, климате и борьбе с бедностью |
| Геополитика | Снижение напряженности между державами | Сложность достижения соглашения с текущими режимами |
Арель подчеркивает, что вопрос о том, когда именно нужна пауза, остается открытым. Он считает, что подготовка инфраструктуры для возможного будущего замедления необходима уже сейчас, даже если сама пауза не должна быть применена в ближайшие месяцы.
Источник: LessWrong ↗