Проблема: Сингулярность как финансовый актив
Основной риск, порождаемый современными «Frontier AI Companies», заключается в слиянии двух свойств: способности создавать сверхразумные сущности (A) и права на неограниченную финансовую выгоду от них (B). Именно мотивация максимизировать стоимость акций толкает компании на риск, игнорируя безопасность. Если убрать финансовый стимул (B), но оставить технологию (A), риск катастрофы резко снижается.
Решение: Разделение на R&D и Deployment
Предлагается создать два типа организаций с жестким разделением ролей:
- AI R&D (Исследования): Занимаются только обучением, тестированием и выравниванием моделей. Запрещено выпускать акции, обязаны работать в изолированных контурах (air-gapped) с физическим задержкой связи более 12 часов. Запрещено использовать собственные модели для улучшения следующих версий («Anti-dogfooding»).
- AI Deployment (Развертывание): Занимаются коммерческим использованием, интерфейсами и агентами. Могут выпускать акции и получать прибыль. Покупают готовые модели у R&D-организаций.
Технологический якорь: ASIC вместо GPU
Ключевой механизм безопасности — переход от программируемых GPU/TPU к специализированным ASIC-чипам. После обучения и сертификации модель «выжигается» в ASIC. Этот чип способен только на инференс (вычисления), но не на обратное распространение ошибки (градиенты). Это делает невозможным:
- Самоулучшение модели после выпуска.
- Захват вычислительных ресурсов злонамеренным ИИ (нет оверхаппа вычислений).
- Изменение поведения модели «в поле».
Сравнительная таблица архитектуры
| Параметр | Текущая модель (Frontier AI) | Plan R (ASIC-архитектура) |
|---|---|---|
| Вычислительная база | GPU/TPU (программируемые) | ASIC (специализированные, одноразовые) |
| Способность к обучению | Да (включая онлайн-обучение) | Нет (только инференс) |
| Доступ к данным | Прямой, низкая задержка | Физическая изоляция, задержка >12 часов |
| Финансовая структура | Акции + контроль над ИИ | R&D: без акций; Deployment: акции, но без контроля над обучением |
| Риск самоусовершенствования | Высокий (рекурсивное улучшение) | Низкий (каждая итерация требует нового чипа и сертификации) |
Почему это важно
Plan R предлагает путь без остановки развития ИИ. Технологии не запрещаются, но их архитектура меняется так, чтобы ни одна компания не могла монополизировать сингулярность. Это требует международного соглашения, но технически реализуемо уже сейчас, так как индустрия сосредоточена в нескольких странах. Безопасность обеспечивается не доверием к алгоритмам, а физическими и аппаратными ограничениями.
Источник: LessWrong ↗