Исследования14 июля 2026 г., 12:17 МСК🤖 Auto

Least Autonomy: новая теория безопасности для AI-агентов

Исследователь Кристоф Парисель предложил концепцию «наименьшей автономии» как замену устаревшему принципу наименьших привилегий для управления рисками в системах с AI-агентами.

Баннер новости 3529

Проблема старых моделей безопасности

Традиционный принцип Least Privilege (наименьших привилегий), десятилетиями служивший основой контроля доступа, признан недостаточным для современных агентных AI-систем. В отличие от статичных учетных записей, AI-агенты способны не просто обладать правами, но и комбинировать их, утверждать и усиливать в рамках рабочих процессов, пересекая системные границы. Это создает новые векторы атак, которые невозможно контролировать стандартными методами.

Суть теории «Least Autonomy»

В работе, опубликованной 3 июля 2026 года в arXiv (ID: 2607.09744), автор предлагает формализовать новую парадигму — Least Autonomy (наименьшая автономия). Теория опирается на три ключевых математических компонента:

  • Составной радиус взрыва (d(a,b)): Метрика структурного разделения действий в иерархии предприятия. Она объединяет ультраметрическое дерево с решетчатыми метками конфиденциальности, целостности и контекста контроля.
  • Направленный граф влияния (G(theta)): Модель, где дуга от агента U к агенту V существует только при наличии общего ресурса (write-to-read) или консервативной коммуникации (A2A), а потенциал влияния превышает пороговое значение theta.
  • Предикат сговора: Алгоритм, обнаруживающий композицию авторизации, манипуляции решениями и кросс-доменное составление возможностей на основе достижимости в графе.

Механика контроля и аудита

Ключевым элементом системы является порог theta, который выбирается администратором на основе политики безопасности. Для калибровки и аудита этого порога вводится каталог радиусов профиля (catalogue-radius profile). Это позволяет организациям не только предотвращать несанкционированные действия, но и верифицировать, что автономия каждого агента строго ограничена необходимыми для задачи функциями.

Значение для индустрии

Предложенная теория закрывает критический пробел в безопасности AI, переводя его из плоскости статического контроля доступа в плоскость динамического управления поведением агентов. Это особенно важно для корпоративных сред, где AI-агенты взаимодействуют друг с другом и с чувствительными данными, требуя гарантий, что их коллективное поведение не превысит заданные рамки автономии.

Источник: arXiv cs.AI ↗