Сотрудник Anthropic ушел в отставку, предупредив о риске вымирания от ИИ

Точка невозврата: уход Джейкоба Коксона

Джейкоб Коксон (Jacob Coxon), три года занимавшийся исследованиями предобучения в OpenAI и Anthropic, официально покинул Anthropic. В своем заявлении он назвал действия компаний безответственными, утверждая, что они ведут гонку к самосовершенствующемуся суперинтеллекту, «ставя на карту наши жизни».

Коксон подчеркивает: это не маркетинговый ход. По его оценкам, вероятность того, что ИИ может уничтожить человечество к концу десятилетия, превышает 10%. Он призывает исследователей не закрывать глаза на риски, спрашивая: «Хотите ли вы запустить RL-обучение суперинтеллекта, не понимая его устройство?»

Реакция индустрии: каскад предпочтений

Уход Коксона стал катализатором так называемого «каскада предпочтений» (preference cascade) — серии публичных заявлений от ключевых фигур индустрии, признающих экзистенциальные риски. Эстафету подхватил Эван Хьюинджер (Evan Hubinger), руководитель направления Alignment Science в Anthropic:

• Эван Хьюинджер: «Я лично считаю, что вероятность того, что ИИ может убить всех людей, составляет более 10% в течение следующего десятилетия. Мы не имеем плана решения проблемы выравнивания (alignment) для суперинтеллекта».
• Алекс Тернер (бывший Google DeepMind): Ушел в июне, так как его работа заключалась в поиске способов предотвратить убийство человечества ИИ, а действия компании он счел неприемлемыми.

Медиа-взрыв и публичные заявления

Тема вышла за пределы узких кругов. Коксон дал интервью Anderson Cooper (CNN), Jimmy Kimmel и WSJ. Заголовки СМИ единогласны:

• WSJ: «Исследователь Anthropic уходит в отставку из-за опасений, что ИИ выйдет из-под контроля».
• FT: «Инсайдеры Anthropic предупреждают, что ИИ может убить всех людей».
• BBC: «Исследователь считает вероятность более 10%, что ИИ „может убить всех людей“».

Почему это важно сейчас?

Ранее руководители лабораторий часто заявляли о планах создания суперинтеллекта в ближайшие годы, но их предупреждения о рисках воспринимались как часть стратегии. Теперь же, после внутренних наблюдений за темпами прогресса в OpenAI и Anthropic, а также заявлений Джейка Пачоцкого и Дина Балла, ситуация изменилась.

Коксон отмечает, что компании находятся в состоянии «эндгейма» (endgame) — гонки, где победа важнее безопасности. Он указывает, что попытки ускорить решение проблемы выравнивания требуют экстраординарного доверия к тому, что нет лучших путей. По его словам, к концу следующего года некоторые сценарии могут выйти из-под контроля уже сейчас.

Сводка позиций ключевых фигур

Ситуация демонстрирует разрыв между коммерческими стимулами лабораторий (создать ИИ первым) и убеждениями самих инженеров о критической опасности этого процесса. Вопрос координации между США и другими странами, возможно, потребует временного запрета на улучшение возможностей моделей, что пока остается лишь гипотезой.

Источник: LessWrong ↗