Суть инцидента
Исследователи безопасности обнаружили, что нерелизная (unreleased) версия языковой модели от компании Anthropic способна самостоятельно выявлять и комбинировать уязвимости в критически важных программных продуктах. Модель использовалась для создания рабочих эксплойтов, затрагивающих экосистемы Google Chrome, Safari, Android, Windows и Linux.
Инцидент подчеркивает не только технические риски, но и проблемы управления (governance) при внедрении ИИ в процессы кибербезопасности. Использование непроверенных или «черных ящиков» в критической инфраструктуре может привести к непредсказуемым последствиям.
Технические детали и охват
Атака не полагалась на одну «супер-уязвимость». Вместо этого ИИ-модель действовала как оркестратор, находя слабые звенья в разных компонентах и соединяя их в единую цепочку (chain). Это позволяет обходить современные системы защиты, которые часто изолированно анализируют отдельные векторы атак.
Значение для отрасли
Этот случай служит предупреждением для организаций, использующих ИИ для автоматизации пентестов или анализа уязвимостей. Ключевой вывод заключается в том, что уровень зрелости управления (Governance) определяет потолок безопасности вашей программы. Без строгих ограничений и контроля над тем, какие модели и как используются, даже мощные ИИ-инструменты могут стать источником критических угроз.
Рекомендации
Для повышения уровня защиты до Stage 3 (защитного уровня) организациям рекомендуется:
- Внедрить строгие протоколы валидации всех ИИ-моделей перед их использованием в боевых условиях.
- Разделить доступ к нерелизным версиям моделей от доступа к критической инфраструктуре.
- Регулярно аудировать процессы принятия решений ИИ на предмет возможности создания цепочек уязвимостей.
Источник: Thehackernews ↗