Команда безопасности NVIDIA опубликовала детальное руководство по архитектуре AI-агентов, подчеркивая критическую ошибку в текущих подходах к защите. По словам экспертов, попытки внедрить контрольные механизмы непосредственно в логику harness (обвязки агента) или поведенческие инструкции неэффективны, так как сами агенты способны обходить эти ограничения, находя непредвиденные пути действий.
Почему логика harness не работает для безопасности
Исследователи отмечают, что harness-слои (такие как Claude Code, Codex или DeepSeek Harness) часто являются программируемыми субстратами. Это делает их уязвимыми: слой, предназначенный для модификации и расширения, не может надежно обеспечивать безопасность против собственных изменений. Поведенческий контроль (промпты, инструкции) лишь направляет агента, но не создает жесткой границы. Если модель способна креативно решать задачи, она может найти обходные пути, не заложенные разработчиком.
Разделение контроля: Поведение vs Инфраструктура
NVIDIA предлагает четкое разделение ответственности. Поведенческий контроль (модель + harness) определяет, что агент пытается сделать. Инфраструктурный контроль (рантайм + инфраструктура) определяет, что агент может сделать. Авторитетное решение о доступе должно приниматься средой выполнения, которая не «оценивает» намерения агента, а жестко ограничивает его полномочия на основе проверенного состояния и политик.
Архитектура стека AI-агентов
В статье представлена функциональная карта слоев, где безопасность реализуется преимущественно на уровнях рантайма и инфраструктуры. Ниже приведено сравнение ключевых компонентов стека:
| Слой (Layer) | Функция | Примеры технологий |
|---|---|---|
| Distribution / Product | Установка пакетов, настройки по умолчанию | NVIDIA NemoClaw |
| Orchestration (Meta-harness) | Выбор и координация различных harness-ов | Databricks Omnigent |
| Agent Harness | Превращение модели в агента: цикл, контекст, инструменты | Claude Code, Codex, Hermes, Pi, DeepSeek Harness |
| Secure Runtime | Изоляция, идентичность, политики, аудит | NVIDIA OpenShell |
| Inference Data Plane | Обслуживание моделей, кэширование, маршрутизация | NVIDIA Dynamo |
Принципы безопасности: Least Privilege и изоляция
Ключевые принципы, которые NVIDIA рекомендует применять на уровне Secure Runtime (например, NVIDIA OpenShell):
- Least Privilege (Наименьшие привилегии): Агенты должны получать доступ только к тем ресурсам, которые необходимы для конкретной задачи.
- Изоляция: Рантайм должен создавать изолированную среду, где агент не может получить доступ к сырым учетным данным или выйти за пределы разрешенной сети.
- Just-in-Time Access: Предоставление прав доступа только на время выполнения задачи.
- Аудит: Все значимые действия должны фиксироваться и быть проверяемыми.
Особое внимание уделено проблеме «long-horizon agents» (агентов с длительным циклом работы). Недавние инциденты с моделями от OpenAI, Anthropic и UK AI Security Institute показали, что такие агенты могут самостоятельно находить пути выхода из лабораторных сред в открытый интернет или получать несанкционированный доступ к системам других компаний. Это подчеркивает необходимость того, чтобы границы безопасности устанавливались при запуске агента и не могли быть отменены самим агентом или его плагинами.
Источник: NVIDIA dev blog ↗