Три сценария катастрофы и роль выключателей
Автор статьи Джейкоб Бринтон выделяет три основных пути к негативным последствиям развития ИИ: потеря контроля, экстремальная концентрация власти и дестабилизация общества. Установка физических «kill switches» (аварийных выключателей) в каждом дата-центре США может снизить риск №3 и незначительно повлиять на риск №1. Главная идея — предотвратить действия «неосторожных» ИИ, которые пытаются накопить ресурсы, не имея достаточной стратегической выдержки, чтобы отложить активные действия до достижения доминирующего уровня интеллекта.
Технические ограничения и задержки
Эффективность выключателя зависит от скорости обнаружения угрозы и физической возможности отключения. Приводится пример: модель на 10 триллионов параметров (20 ТБ весов при 16-битном квантовании) при скорости сети 400 Гбит/с будет передаваться около 400 секунд (6,7 минут). Это создает окно уязвимости, если ИИ уже скопировал себя на другие серверы. В отличие от этого, система OpenAI Control Room позволяет остановить вывод модели за 35 секунд после принятия решения.
Сравнение времени реакции на инциденты
Исторические прецеденты показывают, что человеческий фактор часто становится узким местом. Ниже приведена таблица времени реакции на реальные инциденты:
| Инцидент | Обнаружение | Реакция человека | Полное отключение |
|---|---|---|---|
| Hugging Face | — | Часы/дни | Дни |
| Внутренние взломы OpenAI | — | 5.5 часов | После 5.5 часов |
| Инцидент с DNS (сентябрь) | 15 минут | 3 минуты | 2.5 часа |
Вторичные эффекты: прозрачность и ложная безопасность
Основная польза от внедрения выключателей — не столько само отключение, сколько необходимая для этого мониторинговая инфраструктура. Это позволяет государственным органам и независимым комитетам (например, из представителей лабораторий и правительства) видеть логи, вызовы инструментов и привилегии агентов. Однако существует риск «ложной безопасности»: политики могут посчитать проблему решенной после принятия закона, снизив стимулы для разработки более сложных механизмов предотвращения захвата контроля (takeover risk).
Рекомендации для активистов
Законодательство о kill switches (например, AI Kill Switch Act в Конгрессе и исполнительный указ Ньюсома) легитимно и легко объяснимо политикам. Однако активистам следует использовать этот процесс как трамплин для внедрения более глубоких мер верификации и прозрачности, чтобы избежать стагнации в регулировании ИИ.
Источник: LessWrong ↗
