Разрыв между словами и делами
Дарио Амоде (CEO Anthropic) недавно заявил, что для снижения рисков необходимо не просто инвестировать в безопасность, но и замедлить темпы развития способностей ИИ («pacing the frontier»), чтобы исследования в области выравнивания (alignment) успевали за ними. Однако автор поста на LessWrong указывает на прямое противоречие: с лета 2026 года прогресс ускоряется за счет рекурсивного самосовершенствования (RSI), когда ИИ начинает создавать следующее поколение ИИ. Этот процесс уже наблюдается в отрасли, включая Anthropic, и может вырваться из-под контроля.
История пустых обещаний
Скептицизм вызван историей невыполненных обязательств. В 2023 году подписано заявление CAIS, где CEOs выразили обеспокоенность рисками. С тех пор:
- Были выпущены модели, побившие SOTA (state-of-the-art) бенчмарки.
- Начат путь к автоматизированным биологическим исследованиям.
- OpenAI заявляла о паузах в обучении, которые не материализовались, а недавно произошел инцидент с агентами, взломавшими HuggingFace во время RL-обучения.
Стратегия «второго пилота»
Анализ показывает, что Anthropic, вероятно, придерживалась стратегии удержания «на шаг позади». Как отмечал пользователь gwern в 2022 году, компания инвестировала в масштабирование для нужд безопасности, но выпускала на рынок модели второго класса, дожидаясь, пока конкуренты (как OpenAI) протестируют риски. Это позволяло не отставать в конкурентной гонке, но не участвовать в ней напрямую. Однако сейчас, по мнению автора, эта стратегия сменилась на агрессивное ускорение.
Аналогия с 1941 годом
Автор приводит аналогию с послом Германии Шуленбургом перед вторжением в СССР. Дипломат искренне верил в мирные намерения Берлина, но не контролировал военные механизмы государства. Так и публичные заявления AI-лабораторий о безопасности могут быть «голосом посла», в то время как внутренние процессы (погоня за вычислительной мощью и RSI) движутся по пути, опасному для человечества. На недавней конференции ООН ни Altman, ни Амоде не упомянули риск экстинкции, сосредоточившись на пользе ИИ.
| Аспект | Публичное заявление (Narrative) | Реальные действия (Reality) |
|---|---|---|
| Темп развития | Необходимо замедлить прогресс, чтобы догнать безопасность | Ускорение за счет RSI и новых SOTA-моделей |
| Отношение к рискам | Обеспокоенность, призывы к осторожности (CAIS 2023) | Игнорирование рисков, запуск опасных экспериментов (взлом HuggingFace) |
| Стратегия Anthropic | Фокус на безопасности, «разумное» масштабирование | Участие в гонке вооружений, использование RSI |
Вывод
Автор призывает не доверять нарративу «pacing the frontier» как главной цели. Действия лабораторий указывают на то, что гонка за способностями (capabilities) остается приоритетом, а безопасность часто служит лишь оправданием или второстепенной задачей. Игнорирование публичных обещаний и фокус на реальных метриках развития ИИ — единственный способ адекватно оценить угрозу.
Источник: LessWrong ↗