Масштаб ресурса: 10 947x вычислений
Авторы моделировали сценарий, в котором три ведущие американские лаборатории (OpenAI, Anthropic, Google DeepMind) прекращают гонку вооружений и перенаправляют ресурсы на безопасность. В 2025 году над безопасностью ИИ работали ~5 000 исследователей, опубликовавших более 7 000 статей. Их эксперименты использовали вычислительную мощность, эквивалентную 27 000 GPU H100, работающих год.
Если перенаправить вычислительные мощности этих трех лабораторий на безопасность в период 2027–2029 годов, объем доступных вычислений превысит показатели 2025 года в 10 947 раз. Однако из-за необходимости человеческого труда, написания кода и верификации реальный прирост «лет работы» ниже.
Ключевые метрики паузы
Модель AI Pause учитывает убывающую отдачу от труда, параллельные штрафы и роль ИИ-кодеров. Результаты показывают:
| Длительность паузы | Эквивалент работы 2025 года | Примечание |
|---|---|---|
| 3 года | 1 000 лет | Базовый сценарий перенаправления ресурсов |
| 9 лет | 100 000 лет | Долгосрочная стратегия |
| План A (Plan A) | 1 000 лет (3-7% потенциала) | Строгий аудит кода снижает объем, но сохраняет масштаб |
Проблема верификации: армия из 2,8 млн человек
Главный риск автоматизированной паузы — необходимость проверки результатов. Если позволить ИИ работать автономно в течение 9 лет, для проверки всего объема потребуется 2,8 миллиона верификаторов. При использовании более безопасных протоколов проверки это число снижается до 150 000 человек.
Даже без создания такой «армии» исследователи получают значительный бонус: в худшем случае сохраняется 44% от потенциального объема исследований, так как сотрудники лабораторий в первую очередь проверяют наиболее важные работы.
Стратегия Plan A и скорость масштабирования
Строгий «План A» предполагает, что каждый строчка кода утверждается внешними аудиторам. Это сокращает общий объем работы до 3–7% от потенциального, но все равно дает результат, в 1000 раз превышающий уровень 2025 года.
Сравнение стратегий масштабирования показало, что если Консорциум перейдет к созданию TED-AI в 2030 году вместо 2035-го, это ускорит завершение исследований по безопасности на 1,27 года (по верхней границе оценки), хотя реальный эффект, вероятно, ближе к 0,4 года.
Рекомендации для исследователей
Авторы предлагают подготовить сектор к автоматизации:
- Техническая часть: Создавать «лунные» бенчмарки (moonshot benchmarks) для будущих ИИ-ученых, параллелить задачи и проводить red-teaming.
- Эпистемический ИИ: Разрабатывать инструменты для помощи людям в проверке ИИ-генераций и создания человеко-читаемых абстракций.
- Фундаментальные науки: Перенести фокус на философию, основы агентов и теорию принятия решений, так как вычислительная работа будет автоматизирована.
Источник: LessWrong ↗