Проблема «ограниченного суверенитета»
Большинство протоколов безопасности ИИ предполагают, что компания-развертыватель (deployer) имеет полный технический доступ к модели: может менять веса, видеть внутренние трассировки (traces) и контролировать инфраструктуру. Однако в регулируемых отраслях (финансы, госсектор) организации часто используют передовые модели (frontier models) только через API или управляемые конечные точки. В этом случае у заказчика есть доступ только к бизнес-процессу, но не к «внутренностям» ИИ. Автор называет это ограниченным суверенитетом (bounded sovereignty).
Четыре уровня доступа и матрица требований
Исследование выделяет четыре слоя стека ИИ, от которых зависит безопасность:
- Данные: доступ к обучающим и входным данным.
- Модель: контроль над весами и архитектурой.
- Инфраструктура: контроль над серверами и сетью.
- Взаимодействие: доступ к полным логам запросов и ответов.
Если доступ к этим слоям ограничен, компания вынуждена платить «налог на контроль» — стоимость, возникающую из-за необходимости компенсировать отсутствие технического доступа через юридические контракты, аудит, архитектурные обходные пути и снижение функциональности системы.
Результаты симуляции: 1,35 млн сценариев
Авторы провели синтетический эксперимент, смоделировав 1,35 миллиона случаев использования. Хотя это не данные реальной платежной системы, эксперимент подтвердил валидность концепции. Ключевые выводы показывают, как разные уровни доступа влияют на безопасность и стоимость:
| Уровень доступа | Влияние на безопасность | Влияние на стоимость (Control Tax) |
|---|---|---|
| Полные логи (Complete logs) | Улучшает диагностику инцидентов | Снижает затраты на расследование |
| Шлюз до выполнения (Pre-execution gateway) | Позволяет вмешиваться до обработки запроса | Требует инвестиций в инфраструктуру фильтрации |
| Доступ к трассировкам и версиям модели | Усиливает объяснимость после инцидента | Снижает юридические риски |
| Ограничение области применения (Scope restriction) | Повышает безопасность за счет сужения задач | Снижает полезность системы для бизнеса |
Почему это важно для бизнеса
Исследование доказывает, что безопасность ИИ при использовании API — это не просто вопрос выбора провайдера, а вопрос архитектуры. Протоколы безопасности, предлагаемые как универсальные решения, часто игнорируют свои допущения о доступе. Для компаний, не владеющих моделями, «налог на контроль» может включать:
- Дорогостоящие контракты с вендорами.
- Снижение масштаба внедрения ИИ.
- Резidual-риски, которые невозможно устранить без доступа к весам модели.
Авторы призывают явно указывать требования к доступу в спецификациях протоколов безопасности, чтобы избежать скрытых издержек при развертывании.
Источник: arXiv cs.AI ↗