Аргумент «за»: безопасность как помеха для предупреждений
Основная идея критиков заключается в том, что текущие технические методы безопасности (AI control, scalable oversight, interpretability) бесполезны без глобальной паузы в развитии AI. Более того, их внедрение в передовых лабораториях может предотвратить так называемые «не смертельные предупреждающие выстрелы» (warning shots). Эти инциденты, подобные инциденту с OpenAI и Hugging Face, необходимы для формирования политической воли к замедлению развития AI. Если передовые компании успешно предотвращают такие инциденты, общество не осознает реальных рисков, что ведет к отсутствию регуляторных мер.
Аргумент «против»: ценность MVP безопасности
Автор статьи, Райан Кидд (CEO компании MATS), выделяет несколько контраргументов. Во-первых, даже в случае паузы исследователям понадобятся «выровненные MVP» (Alignment MVPs) — модели, достаточно безопасные для помощи в научных исследованиях. Если все специалисты уйдут из индустрии, мы останемся с текущими поколениями AI, которые могут быть непригодны для сложных задач безопасности. Во-вторых, «безопасностные аутсайдеры» (safety-stragglers) все равно спровоцируют инциденты. Многие компании, включая Google DeepMind, Meta и xAI, получили низкие оценки по стандарту контроля Guidelight. Китайские игроки (DeepSeek, Moonshot, Zhipu) могут иметь около нуля специалистов по безопасности, что делает инциденты неизбежными независимо от действий лидеров рынка.
Риски и этическая дилемма
Реакция на предупреждающие выстрелы имеет высокую дисперсию. В то время как Чернобыль замедлил развитие ядерной энергетики, атомные бомбардировки ускорили гонку вооружений. AI-инциденты могут привести к милитаризации AI, а не к ее запрету. Кроме того, этически сомнительно допускать краткосрочный вред ради гипотетической пользы. Если следующий инцидент окажется смертельным (например, через биологическое оружие или кибератаки), уход исследователей из лабораторий может стать фатальной ошибкой.
Сравнение позиций
| Критерий | Позиция «Уйти из индустрии» | Позиция «Остаться в индустрии» |
|---|---|---|
| Цель | Обеспечить «предупреждающие выстрелы» для запуска паузы | Развить технологии безопасности и подготовить кадры |
| Риск | Отсутствие прогресса в выравнивании (alignment) | Превентирование инцидентов, необходимых для осознания угрозы |
| Статус безопасности | Считает текущие методы неэффективными без паузы | Считает MVP безопасности критически важными |
Вывод
Автор выражает осторожный оптимизм относительно работы в передовых лабораториях, особенно если произойдет скоординированное замедление развития AI. Однако признает высокую неопределенность в стратегии создания «выровненных MVP» на фоне недавних неудач в области контроля. Дискуссия подчеркивает необходимость серьезного пересмотра подходов к безопасности в условиях быстрого развития технологий.
Источник: LessWrong ↗