Парадокс готовности и эрозия доверия
Основная проблема безопасности ИИ сегодня — не отсутствие технологий, а глубокий кризис доверия общества к институтам. Автор выделяет два типа информационной потери, которые приводят к непониманию рисков:
- Тип 1: Иллюзия всезнания после катастрофы. Люди склонны считать, что власти знали о рисках заранее (эффект заднего числа). Если что-то пошло не так, это воспринимается как некомпетентность или злой умысел, а не как работа с неопределенностью. Пример: противоречивые рекомендации во время пандемии COVID-19, где отсутствие четкой информации на старте подорвало доверие к последующим инструкциям.
- Тип 2: Невидимость предотвращенных бедствий. Когда угроза миновала (как с проблемой 2000 года — Y2K), общественность часто считает, что опасность была преувеличена или выдумана, так как не видит объема работы, проделанной для предотвращения сбоев. Отсутствие освещения усилий по предотвращению ведет к тому же результату — потере доверия к предупреждающим.
Почему институты не справятся с AGI
В США и мире наблюдается беспрецедентно низкий уровень доверия к государственным и корпоративным структурам. В контексте ИИ это создает критическую уязвимость:
- Общественность скептически относится к заявлениям об «x-risk» (рисках экзистенциального характера), особенно если они исходят от крупных компаний (Anthropic, OpenAI), воспринимая их как маркетинг для инвесторов, а не искреннюю заботу.
- Доверие обычно восстанавливается через цикл «катастрофа — реакция», но у ИИ может не быть времени на такие репетиции до появления AGI.
- Большая часть населения США настроена против ИИ в целом, а снизу не формируется поддержка именно для мер безопасности (AI Safety).
Решение: Индивидуальные коммунити
Автор приходит к выводу, что бремя коммуникации рисков ИИ должно лечь на плечи отдельных людей, а не корпораций. Хотя индивидуальные эксперты уязвимы для атак ad hominem, они способны выстраивать более прямые и доверительные связи с аудиторией. Упоминается проект Siliconversations как один из немногих успешных примеров такой работы. Без массовых усилий отдельных лиц по объяснению абстрактных рисков, общество останется неготовым к потенциальным катастрофам.
Источник: LessWrong ↗