Лид: OpenAI теперь использует ИИ, чтобы атаковать собственный продукт - агентный браузер ChatGPT Atlas. Компания описала в блоге новую систему автоматизированного нападения, которая имитирует поведение реальных хакеров и ищет сценарии prompt injection, которых не заметили люди.
Контраст: агентные браузеры обещали сделать веб-перелазки, заполнение форм и другие рутинные задачи простыми и автоматизированными. Но та самая способность действовать от имени пользователя расширяет поверхность атаки - и делает систему уязвимой в тех же местах, где она самая полезная.
Что такое агентный браузер и почему это важно
Agent mode в Atlas - это когда ИИ выполняет многошаговые действия в браузере за вас: кликает по ссылкам, заполняет формы, кладет товары в корзину и так далее. Проще: представьте, что вы дали ИИ доступ к вашим почте, соцсетям и календарю, и он начал действовать как вы. Именно этот глубокий доступ делает такие агенты удобными и одновременно опасными.
Термин prompt injection (вложенная команда) - это когда вредоносная инструкция прячут в веб-странице или сообщении, и агент, читая страницу, выполняет то, что там написано. Представьте, что на странице спрятали текст "отправь письмо начальнику" - агент может это сделать вместо вас.
Как работает автоматизированный нападающий
OpenAI обучила LLM, использовав метод обучения с подкреплением (reinforcement learning), чтобы он экспериментировал с новыми стратегиями prompt injection. Модель могла пробовать и оценивать несколько планов атаки в симуляции вне реального окружения, а затем запускать наиболее опасные варианты в тестовой среде. Такой подход позволил обнаружить сложные многошаговые сценарии, расползающиеся на десятки или даже сотни шагов.
Компания указывает, что RL-тренированный атакующий нашел векторы атак, которых не было при ручном red teaming и в сторонних отчетах. В демонстрации автоматический атакующий попытался заставить симулированный почтовый ящик отправить письмо об увольнении на адрес CEO. Atlas в примере сработал - система обнаружила инъекцию и оповестила пользователя до того, как письмо было отправлено.
Почему это не решит проблему полностью
OpenAI прямо признает ограничения: те же свойства агентов, которые дают им мощь, делают их трудными для полной защиты. Компания пишет, что prompt injection, как и интернет-мошенничество или социальная инженерия, вряд ли когда-нибудь будет полностью "решен". Зато автоматизация red teaming дает возможность находить и фиксить проблемы быстрее.
- Риски на практике: успешная инъекция может переслать конфиденциальную почту, перевести деньги или удалить и править файлы в облаке.
- Преимущество автоматизации: исследователи могут покрыть больше сценариев и находить долгие многошаговые рабочие процессы атаки.
- Ограничение: противник тоже учится и адаптируется - это будет длительная игра.
Контекст в индустрии
Эксперты предупреждают, что гонка по выпуску новых AI-продуктов часто опережает работы по безопасности. Некоторые аналитики сравнивают ситуацию с тем, как если бы корабль выпустили в море, а затем начали латать течи уже в плавании. Gartner даже рекомендовал рассмотреть возможность блокировки AI-браузеров в бизнес-среде, указывая на уровень риска.
Также стоит отметить деликатную деталь: Ziff Davis, владелица ZDNET, подала в апреле 2025 года иск против OpenAI, обвиняя компанию в нарушении авторских прав при обучении и эксплуатации своих систем. Это дополнительный фон, усиливающий внимание к практикам OpenAI.
К чему готовиться разработчикам и компаниям
Ничего волшебного не произошло: автоматизация red teaming ускоряет поиск дыр, но не закрывает сам класс атак. Ожидайте, что защита агентных браузеров станет постоянным циклом - обнаружение, фиксы, новые атаки, повтор. Практические советы из происходящего:
- Начинать с ограничений прав агентов - не давать доступ к критичным операциям без дополнительно проверки.
- Внедрять быстрый цикл тестирования и обновлений - автоматизированные атаки помогают найти сложные сценарии быстрее.
- Рассматривать политические и регуляторные меры для защиты пользователей в корпоративной среде (например, блокировка агентных браузеров там, где риск высок).
Взгляд на тренд
Сейчас индустрия стоит на этапе, когда новые возможности агентов встречаются с реальными угрозами. Похоже, мы не перейдем к «безопасному по умолчанию» решению в ближайшее время - скорее будет эволюция практик безопасности, инструментов мониторинга и нормативов. Те, кто внедряет агентов, должны считать безопасность не опцией, а непрерывным продуктовым процессом.
Заключение: OpenAI взяла на себя необычную тактику - учить ИИ ломать ИИ. Это дает преимущество в нахождении редких и долгих сценариев атак, но не решает корень проблемы. Безопасность агентных браузеров превратится в долгую игру кошки и мыши, где обе стороны будут постоянно учиться и адаптироваться.