Проблема емкости рынка
В форме S-1 Anthropic прямо указывает на невозможность покрытия катастрофических рисков ИИ частным страховым рынком. Масштаб потенциального ущерба от сценариев потери контроля, биологического оружия или кибератак превышает емкость как отдельной страховой компании, так и отрасли в целом. Это создает фундаментальное препятствие для использования страхования как инструмента безопасности.
Математика конфликта интересов
Автор статьи провел Fermi-оценку, чтобы проверить, могут ли страховые премии быть достаточным стимулом для лабораторий. Вывод однозначен: премии будут ничтожно малы по сравнению с выручкой от разработки ИИ. Без государственного мандата (compulsion) частный сектор не сможет заставить лаборатории соблюдать строгие стандарты безопасности, так как стоимость соблюдения не окупит потенциальную прибыль от ускорения разработки.
Три сценария риска
Модель фокусируется на трех конкретных категориях ущерба, исключая сценарии полного уничтожения человечества, но охватывая наиболее вероятные катастрофы:
| Категория риска | Пример угрозы | Сложность оценки |
|---|---|---|
| Кибератаки | ИИ-усиленные взломы, ransomware | Высокая (исторические данные есть) |
| Пандемии | ИИ-спроектированные биологические агенты | Критическая (нет прецедентов) |
| Ущерб от агентов | Действия автономных систем вне контроля | Экстремальная (непредсказуемо) |
Исторические уроки и предостережения
Опыт других отраслей показывает двойственность роли страховщиков. С одной стороны, HSB (ныне часть Munich Re) в 1866 году создала инспекционный корпус для предотвращения взрывов котлов, а современные киберстраховщики требуют многофакторную аутентификацию. С другой стороны, программа страхования наводнений (NFIP, 1968) привела к застройке опасных зон из-за заниженных премий, а киберстраховщики иногда предпочитали платить выкупы хакерам, финансируя рост преступности.
Четыре условия эффективности
Для того чтобы страховщики реально снижали риски, а не занимались «театром безопасности», должны быть выполнены все четыре условия:
- Страховщик имеет достаточно средств в игре (skin in the game).
- Лаборатория имеет мотивацию принимать условия страховщика.
- Страховщик может верифицировать соблюдение стандартов.
- Требования реально снижают вред, а не просто создают видимость безопасности.
В текущих условиях второе условие — мотивация лабораторий — является слабым звеном без государственного принуждения, так как коммерческий интерес к ускорению разработки перевешивает стоимость страховых премий.
Источник: LessWrong ↗