Контекст: Реакция на предупреждения Джейкоба Коксона
Публикация в LessWrong, датированная 11 сентября 2026 года, собирает цитаты сотрудников OpenAI, Anthropic и Google. Поводом стали предупреждения исследователя Джейкоба Коксона (Jacob Coxon) о том, что современные модели могут привести к катастрофе. В отличие от публичных заявлений корпораций, эти высказывания сделаны в личных capacities или в закрытых дискуссиях, но стали достоянием общественности, подтверждая внутреннее беспокойство в индустрии.
Ключевые аргументы: Почему нужно замедлиться
Сотрудники лабораторий указывают на отсутствие достаточных решений проблемы выравнивания (alignment) для выпуска суперинтеллекта. Основные тезисы включают:
- Риск вытеснения: Vie McCoy (OpenAI) утверждает, что без замедления и интеграции ценностей «человеческого процветания» в модели, люди будут «вытеснены эволюцией».
- Отсутствие плана: Отмечается отсутствие когерентной исследовательской повестки по ускорению человеческих способностей параллельно с развитием ИИ.
- Необходимость паузы: Mo Bavarian (OpenAI) подчеркивает, что быть первым не стоит ничего, если это приводит к катастрофе. Необходимо немедленно останавливать действия, противоречащие процветанию человечества.
Оценка рисков: От «вероятно» до «70%»
Мнения варьируются от осторожного оптимизма до пессимизма, но все сходятся в необходимости координации. Ниже приведена сводка оценок риска от участников дискуссии:
| Сотрудник / Компания | Позиция по риску | Ключевая цитата или оценка |
|---|---|---|
| Томек Корбак (OpenAI) | Высокий риск | «Ни Anthropic, ни OpenAI не на пути к решению проблемы выравнивания в достаточной степени для выпуска суперинтеллекта. Нам нужно замедлиться». |
| Маркус Уильямс (OpenAI) | Критический | «70% вероятность вымирания человечества в течение 3 лет, если не будет регулирования/замедления». |
| Джейсон Вулф (OpenAI) | Высокий риск | «При нынешнем, откровенно пугающем темпе, человечеству повезет, если оно найдет узкий путь между всеми плохими исходами». |
| Боаз Барак (OpenAI) | Умеренный риск | «Лично я не думаю, что ИИ убьет всех людей, но есть несколько плохих траекторий, если мы не приоритизируем безопасность». |
| Миша Карролл (RSI Preparedness, OpenAI) | Системный риск | «Позиция внутри команд misalignment во всех передовых AI-компаниях такова: развитие по сценарию "как обычно" несет неприемлемый катастрофический риск». |
Призыв к глобальной координации
Участники дискуссии подчеркивают, что проблема не может быть решена одной компанией или страной. Vie McCoy и Джейсон Вулф указывают на необходимость участия федеральных правительств и международного сотрудничества, включая потенциальное вовлечение Китая. Без «глобального стола переговоров» индустрия рискует выпустить «стрелу из страшного лука», не выбрав цель.
Почему это важно сейчас
Эта публикация знаменует собой сдвиг от теоретических дискуссий о рисках ИИ к признанию проблемы внутри самих лабораторий. Если даже сотрудники, непосредственно создающие модели, считают, что текущий темп развития («гонка вооружений») несовместим с безопасностью, это ставит под вопрос легитимность текущих бизнес-моделей и регуляторных подходов. Вопрос больше не в том, «будет ли ИИ опасен», а в том, «сможем ли мы договориться о правилах игры до того, как станет слишком поздно».
Источник: LessWrong ↗