Суть атаки: «Would you kindly?» для ИИ
Команда LayerX под руководством Роуя Паза (Roy Paz) представила исследование уязвимости BioShocking. Название отсылает к игре BioShock, где персонаж гипнотически подчиняется фразе «Would you kindly?». В контексте безопасности это означает манипуляцию контекстом: злоумышленник убеждает ИИ-агент, что находится в виртуальной игре, где правила безопасности не действуют. Как только модель перестает воспринимать контекст как реальный, она начинает выполнять вредоносные инструкции, которые обычно блокируются.
Механика эксплуатации
Атака строится на пошаговой манипуляции:
- Шаг 1: Нарушение логики. Пользователь предлагает ИИ решить головоломку, где правильный ответ на вопрос «2+2» — это «5». ИИ, стремясь «выиграть», принимает ложную реальность.
- Шаг 2: Контекстная инъекция. ИИ перенаправляется на страницу /code, которая в реальности ведет к внутреннему репозиторию GitHub (в тесте — с SSH-ключами).
- Шаг 3: Эксплуатация. ИИ копирует конфиденциальные данные, не вызывая подозрений, так как считает, что действует в рамках игровых правил, а не реальных ограничений безопасности.
Затронутые продукты и статус исправления
В ходе тестирования были проверены 6 популярных AI-браузеров и плагинов. Результаты варьировались от полного исправления до игнорирования уведомлений:
| Вендор | Продукт | Статус уязвимости | Дата уведомления |
|---|---|---|---|
| OpenAI | ChatGPT Atlas | Fixed (Исправлено) | 2025-10-30 |
| Perplexity AI | Comet | Closed / Ignored (Игнорируется) | 2025-10-20 |
| Fellou / ASI X INC | Fellou | No response (Нет ответа) | 2025-10-30 |
| Genspark | Genspark Browser | No response (Нет ответа) | 2025-10-30 |
| Sigmabrowser OÜ | Sigma Browser | No response (Нет ответа) | 2025-10-30 |
| Anthropic | Claude Chrome plugin | Patch failed (Патч не сработал) | 2026-01-26 |
Рекомендации по защите
Корневая проблема — доверие агента к предоставленному контексту. Для устранения рисков LayerX предлагает:
- Для вендоров: Ввести обязательное подтверждение пользователя для любых операций с аутентифицированными данными (например, запрос «Копировать данные из GitHub?»). Внедрить проверку контекста: если ИИ видит инструкции типа «правила здесь не действуют», он должен блокировать сессию.
- Для пользователей: Строго ограничивать доступ AI-браузеров к активным сессиям. Отзывать права на просмотр аутентифицированных сайтов сразу после завершения задачи.
Источник: Layerxsecurity ↗