AI-безопасность как инженерная дисциплина
NVIDIA позиционирует безопасность искусственного интеллекта не как абстрактную концепцию, а как строгую инженерную задачу. В блоге компании подчеркивается, что по мере роста возможностей AI-агентов (их способности к рассуждению, использованию инструментов и адаптации) индустрия должна ускорить внедрение защитных механизмов. Ключевой принцип остается неизменным: необходимо установить личность, контролировать доступ, ограничивать воздействие и предоставлять доказательства работы защиты.
Архитектура защиты по уровням стека
Безопасность зависит от взаимодействия всех компонентов системы. NVIDIA выделяет три основных уровня, каждый из которых требует специфических контролей:
- Модели (Models): предоставляют вычислительные возможности.
- Управляющие системы (Harnesses): организуют контекст, инструменты и рабочие процессы.
- Среда выполнения (Runtime): предоставляет инфраструктуру для исполнения действий.
Пример уязвимости: если агент получает вредоносные инструкции из документа и пытается экспортировать данные клиентов, сетевые политики должны блокировать передачу, а защищенные логи — фиксировать попытку вызова инструмента и решение об авторизации. Право на обновление записи не должно автоматически давать право на экспорт данных.
OpenShell и экосистема партнеров
Центральным элементом предложения NVIDIA стал OpenShell — открытая безопасная среда выполнения (runtime). Ее главная особенность: enforcement политик происходит вне досягаемости самого агента, обеспечивая песочницу для изоляции доступа к данным, сети и системным ресурсам. Партнеры уже интегрируют эту технологию:
| Компания | Продукт/Интеграция | Функция в стеке безопасности |
|---|---|---|
| NVIDIA | OpenShell | Изолированная среда выполнения, принудительное соблюдение политик вне агента |
| Cisco | DefenseClaw | Добавляет слой управления (governance) поверх OpenShell |
| JFrog | Интеграция с OpenShell | Сканирование и проверка навыков (skills) агентов, контроль доступа к ним |
Требования к тестированию и аудиту
Перед развертыванием команды должны получить доказательства того, что контроли блокируют попытки получения несанкционированных учетных данных или отправки чувствительных данных. Тестирование должно включать:
- Попытки изменения разрешений.
- Вмешательство в процессы мониторинга.
- Повторные проверки после изменений в моделях, инструментах или рабочих процессах.
Важнейшим требованием является наличие назначенного ответственного лица (named owner), которое использует результаты тестов для принятия решения о готовности системы к работе. Все действия, требующие изменения прав или выполнения критических операций, должны проходить через человеческое одобрение.
Источник: NVIDIA Blog ↗