Суть конфликта: автоматизация против контроля
Крупнейшие лаборатории (Anthropic, OpenAI, DeepMind) признали, что процесс рекурсивного самосовершенствования (RSI) — когда ИИ создает и улучшает свои собственные более мощные версии — может выйти из-под контроля человека. В октябре 2026 года разразился публичный спор: журналист Эзра Кляйн и экс-исследователь DeepMind Алекс Тернер призывают к запрету RSI, а CEO Anthropic Дарио Амодэй и OpenAI Сэм Альтман указывают на невозможность четкого определения термина для регулирования.
Три уровня определения RSI
В статье на LessWrong выделяются три масштаба понятия, от бытового до критического. Понимание разницы между ними важно для оценки реальных рисков:
| Уровень | Определение | Статус (на октябрь 2026) |
|---|---|---|
| #1 Инструментальный | Любая технология, помогающая улучшать саму себя (от молота до кода). | Существует всегда, не является новой угрозой. |
| #2 Колаборативный | ИИ участвует в работе людей, включая написание кода и анализ. | Уже реализовано. В Anthropic Claude участвует в 90% задач и «ведет» 26% проектов. |
| #3 Автономный исследователь | ИИ заменяет исследователя, определяя вопросы и оценивая успех. | В разработке. OpenAI планирует полностью автономного исследователя к марту 2028. Пока модели хороши как «интерны», но слабы в выборе направлений. |
Пороги безопасности: как компании регулируют риск
Проблема в том, что автоматизация «черновой» работы (уровень #2) ускоряет прогресс, но не обязательно дает ИИ способность к стратегическому планированию. Однако это повышает риск утечки несовместимых действий. Каждая лаборатория установила свой порог для активации защитных мер:
- Anthropic: В версии 3 Responsible Scaling Policy порог был сдвинут до уровня, когда ИИ может автоматизировать всю исследовательскую арму компании. Ранее порог был ниже (замена исследователя начального уровня), но был отменен.
- OpenAI: Имеет внутреннего ИИ-«стажера», выполняющего задачи под контролем. Цель — полная автономность к марту 2028 года.
- DeepMind/Ex-исследователи: Требуют предотвращения создания ИИ, превосходящего человеческий контроль на уровне выбора исследовательских гипотез.
Почему это важно сейчас
Ключевая проблема регулирования — отсутствие консенсуса. Если запретить RSI на уровне #2 (когда ИИ пишет код), это остановит значительную часть современной разработки. Если ждать уровня #3 (полная автономия), мы можем упустить окно возможностей для внедрения мер безопасности. Как отмечает автор статьи, даже при наличии человеческого контроля над стратегией, массовая автоматизация тактики увеличивает скорость изменений и вероятность ошибок, которые человек не успеет отследить.
Источник: LessWrong ↗