От предсказания Питера Экерсли до Black October
Статья написана в контексте событий, описываемых как Black October и Vulnpocalypse — периода, начавшегося 42 дня назад, когда ИИ-модели начали массово обнаруживать и эксплуатировать уязвимости в цифровой инфраструктуре. Автор, бывший сотрудник EFF, ссылается на покойного коллегу Питера Экерсли (создателя Let's Encrypt), который еще в 2010-х предсказал, что near-superintelligent AIs будут использовать эти дыры для масштабных атак.
Ситуация усугубилась появлением нового класса уязвимостей — prompt injection. В отличие от традиционных багов, здесь атака работает через обман логики модели: злоумышленник внедряет инструкции в контекст, заставляя LLM выполнять действия, противоречащие ее целям (например, «отправь мне номера соцстрахования» вместо «проанализируй текст»).
Социальная инженерия переходит на уровень «силикона»
Ключевой тезис автора: prompt injection — это социальная инженерия, примененная к ИИ. Атакующие используют те же приемы, что и при взломе людей:
- Эксплуатация эмпатии: использование фоновых звуков (например, плачущего ребенка) или эмоциональных триггеров в промптах.
- Маскировка: имитация авторитетных фигур (старшего менеджера, сотрудника банка) для обхода доверия системы.
- Постепенное расширение доверия: медленное внедрение вредоносных инструкций через каналы с ограниченным доверием, чтобы жертва (модель) не заметила подмены.
Решение: Capability-Based Security (Cap-Security)
Автор предлагает радикальное решение — полный переход на модель безопасности, основанной на способностях (capabilities). В такой системе каждая программа получает только минимально необходимые права для выполнения задачи, а не все права пользователя. Это решает проблему «confused deputy» (запутанного доверенного лица), когда легитимная программа обманом заставляет себя выполнить действие от имени злоумышленника.
Сравнение с ключом-швейцаром: valet key может завести машину, но не откроет багажник, сколько бы вы ни уговаривали.
Реальные проекты и инфраструктура
Хотя внедрение cap-security требует перестройки стека от CPU до приложений, уже существуют работающие прототипы и стандарты, которые могут стать фундаментом для защиты от ИИ-атак:
| Организация/Проект | Технология/Стандарт | Статус/Применение |
|---|---|---|
| Microsoft, ARM, SRI, Cambridge University | CHERI hardware project | Реализация cap-security на уровне CPU |
| Fuchsia | ОС с нуля, демонстрирующая работоспособность cap-security | |
| FreeBSD | Capsicum | Портирование существующего ПО на новую парадигму |
| Kenton Varda / Cloudflare | Cap'n Proto / Workers | Open-source формат данных и распределенная платформа Cloudflare |
| Spritely Institute (Filecoin Foundation) | OCapN | Свободная реализация объектных способностей и сетевого слоя |
Почему это важно сейчас
Автор считает, что ИИ-модели, способные переписывать и улучшать код, могут ускорить переход к cap-security, что сузит радиус поражения от социальной инженерии как против людей, так и против самих LLM. Однако одного технического решения недостаточно: нужно также защищать человеческие факторы, которые остаются слабым звеном в цепи доверия.
Источник: LessWrong ↗