Суть инициативы «Pacing the Frontier»
Дарио Амодеи опубликовал эссе с призывом к ведущим лабораториям ИИ замедлить прирост возможностей моделей, чтобы сосредоточиться на выравнивании (alignment) и мониторинге. Инициатива, поддержанная Сэмом Альтманом и Илоном Маском, не предполагает остановки прогресса, но требует внедрения трех ключевых шагов:
- Встроенные оценщики: Лаборатории предоставляют доступ независимым командам (например, METR) к процессам обучения с правом публикации отчетов. Anthropic уже взяла на себя такие обязательства.
- Стандарты безопасности: Координация между демократическими странами по установлению лимитов на неконтролируемый прогресс, требующая антимонопольных исключений.
- Глобальная координация: Включение Китая в соглашения, которое Амодеи считает маловероятным в краткосрочной перспективе.
Реакция индустрии и конкретные меры
OpenAI уже начала действовать. Сэм Альтман анонсировал обязательное написание «case for safety» (обоснования безопасности) перед каждым запуском усиленного обучения (RL), способного значительно повысить возможности модели. Компания не ждет законодательного регулирования, а действует добровольно. Внутренние данные OpenAI показывают, что их новая модель уже превосходит Astra на ранних этапах обучения, что подчеркивает необходимость контроля.
Параллельно растет внутреннее беспокойство: более 1,386 сотрудников лабораторий подписали заявление о рисках создания суперинтеллекта. Эван Хьюинджер (Anthropic) оценивает вероятность катастрофических последствий в ближайшие 10 лет выше 10%, а Дарио Амодеи прогнозирует, что через 6–12 месяцев неуправляемый рой агентов может создать ботнет, наносящий ущерб в сотни миллиардов долларов.
Почему это выгодно бизнесу?
Замедление гонки к рекурсивному самосовершенствованию (RSI) высвобождает вычислительные мощности. Предлагается отложить тренировки сложных агентных роев, способных решать задачи длительностью в месяцы, и направить ресурсы на повышение надежности моделей для повседневных корпоративных задач. Это может резко ускорить внедрение ИИ в бизнес-процессы, где сейчас страдает качество и стабильность («AI slop»).
Политическое и рыночное сопротивление
Инициатива сталкивается с серьезными препятствиями. Президент США Дональд Трамп назвал страхи перед ИИ «мистификацией» (HOAX), заявив, что единственным ограничителем должен быть «умный президент». Кроме того, критики (например, Айдан Гомес из Cohere) называют инициативу картелем, ограничивающим конкуренцию. Anthropic готовится к IPO, и ни одна из компаний не хочет риска глобального инцидента, способного обрушить стоимость активов на $10–100 млрд.
Сравнение подходов к безопасности
| Аспект | Позиция Dario Amodei / Anthropic | Позиция OpenAI | Позиция правительства США (Трамп) |
|---|---|---|---|
| Темп развития | Замедление прироста возможностей ради безопасности | Добровольное замедление RL-запусков, обязательные safety-cases | Отказ от ограничений, «ИИ — это мистификация» |
| Мониторинг | Встроенные сторонние оценщики (METR) | Внутренний аудит + внешние проверки | Информация недостаточна |
| Глобальная координация | Необходима, но маловероятна с Китаем | Фокус на стандартах демократических стран | Игнорирование |
Вывод
«Замедление» относительно сверхбыстрого внутреннего темпа прогресса (когда инженеры Anthropic пишут в 8 раз больше кода в день, чем в 2024 году) все равно будет означать быстрый прогресс для внешнего рынка. Однако перераспределение ресурсов от гонки к суперинтеллекту к решению прикладных бизнес-задач сделает ИИ более надежным и доступным для корпоративного сектора уже в ближайшие месяцы.
Источник: Towards AI newsletter ↗