Новая угроза: LLMjacking
Google выпустила предупреждение о новой категории кибератак, получившей название LLMjacking. В отличие от традиционных взломов, эта техника нацелена на манипуляцию большими языковыми моделями (LLM) через инъекции промптов. Злоумышленники используют уязвимости в интеграции LLM с внешними данными или API, чтобы заставить модель выполнять нежелательные действия или раскрывать конфиденциальную информацию.
Финансовые последствия
Самая тревожная часть этой угрозы — ее прямое влияние на облачные расходы. По данным Google, успешные атаки LLMjacking могут привести к тому, что затраты на облачные вычисления для некоторых предприятий достигнут 1 миллиона долларов США. Это происходит из-за того, что атакующие могут бесконечно генерировать запросы к дорогостоящим моделям, использовать их для майнинга криптовалюты или выполнять ресурсоемкие задачи, которые обходятся компании в огромные суммы.
Механика атаки
Атаки LLMjacking часто маскируются под легитимные запросы. Злоумышленники могут:
- Внедрять вредоносные инструкции в пользовательские данные, которые затем обрабатывает LLM.
- Эксплуатировать недостаточную валидацию входных данных в корпоративных приложениях.
- Использовать цепочки промптов для обхода систем безопасности и получения доступа к внутренним базам данных.
Рекомендации Google
Для защиты от LLMjacking Google рекомендует:
- Внедрить строгую валидацию и санитизацию всех входных данных, поступающих в LLM.
- Настроить лимиты на количество запросов и объем обрабатываемых данных для каждого пользователя или сервиса.
- Регулярно проводить аудит моделей на наличие уязвимостей, связанных с промпт-инжекцией.
- Использовать системы мониторинга, которые могут обнаруживать аномальную активность, такую как резкий скачок облачных расходов.
Почему это важно
По мере того как все больше компаний внедряют LLM в свои бизнес-процессы, риски, связанные с их безопасностью, возрастают. LLMjacking демонстрирует, что уязвимости в ИИ-моделях могут иметь серьезные финансовые последствия. Организации должны пересмотреть свои стратегии кибербезопасности, чтобы учесть новые угрозы, связанные с ИИ, и защитить свои активы от потенциальных атак.
Источник: Thehackernews ↗