Проблема онтологических допущений
В сообществе безопасности ИИ (AI Safety) существуют фундаментальные разногласия относительно будущего. Споры часто сводятся к скорости прогресса алгоритмов или масштабируемости вычислений, но за ними скрываются не проверяемые допущения о том, из чего состоит будущее. Ключевой вопрос: кто является основным «агентом» в этой системе? Люди, институты, ИИ-модели или гибридные коллективы? От ответа на этот вопрос зависит теория того, что может пойти не так, и механизмы управления рисками.
Например, если ИИ развивается по сценарию, описанному в прогнозах AI 2027 или AI 2040, стратегии предотвращения кризисов будут одними. Если же, как утверждает Ричард Нго (Richard Ngo), текущая архитектура LLM фундаментально ошибочна, то и подходы к регулированию должны быть кардинально иными. Неправильная модель агента ведет к неверным решениям в governance.
Сложность и «Черные лебеди»
Многие системы подчиняются закону больших чисел, что позволяет стандартизировать процессы (как в масштабировании вычислений от Epoch). Однако социальные и рыночные системы являются адаптивными и сложными. Они не следуют линейным прогнозам. Яркий пример — война в Украине, где появление новых типов беспилотной войны стало «черным лебедем», изменившим динамику конфликта, несмотря на точные экономические прогнозы сторон.
Традиционные экономические модели часто игнорируют «неизвестные неизвестные» (unknown unknowns). Hallgren утверждает, что мы не готовы к изменениям, так как наши метрики функционирования общества (демократия, пропаганда, контроль) рассчитаны на человека как основного агента. Внедрение агентов, способных передавать информацию со скоростью оптоволокна или усиливать пропаганду в 10 раз, требует пересмотра этих метрик.
Вычислительная необратимость
Автор ссылается на концепцию вычислительной необратимости (computational irreducibility), иллюстрируемую игрой «Жизнь» (Game of Life). В таких системах невозможно предсказать будущее состояние, не пропустив через симуляцию каждый шаг. Для предсказания будущего мира потребовался бы компьютер размером с саму Вселенную. Следовательно, попытка точного прогнозирования обречена на провал из-за сложности системы.
Антихрупкость вместо предсказания
Вместо попыток угадать сценарий будущего, Hallgren предлагает фокус на антихрупком дизайне (antifragile design) институтов. Это означает создание систем, которые не просто выживают при неопределенности, но и адаптируются к ней. Автор анонсирует серию статей, в которой будет предложена методология симуляции динамики подсистем для тестирования устойчивости демократических институтов к новым типам агентов.
| Ключевая концепция | Описание и значение |
|---|---|
| Онтологические допущения | Неявные верования о природе агентов (человек vs ИИ), определяющие стратегии безопасности. |
| Вычислительная необратимость | Свойство сложных систем, при котором будущее нельзя предсказать без полной симуляции процесса. |
| Антихрупкость | Способность институтов улучшаться и адаптироваться под воздействием стресса и неопределенности. |
| Process Alignment | Новый подход к согласованию ИИ, рассматривающий агентов на всех масштабах через призму процессов. |
Статья является первой частью серии о Process Alignment (согласовании процессов). Автор призывает отказаться от иллюзии контроля над будущим и начать проектировать институты, способные выживать в «болоте» неопределенности, где появляются новые, непредсказуемые формы агентов.
Источник: LessWrong ↗