Автономные AI-агенты (Agentic AI) проникают в критически важные сферы быстрее, чем существующие модели управления рисками успевают адаптироваться. Проблема текущих подходов заключается в их фрагментарности: либо они описывают механизмы сбоев без возможности переноса оценки риска на другие системы, либо выдают числовую оценку, игнорируя внутреннюю «черную коробку» процесса отказа. Команда исследователей во главе с Хассаном Каримом (Hassan Karim) предлагает решение, объединяющее эти два подхода в единую композиционную структуру.
Архитектура CPSAINT: от физики до времени
В основе новой методологии лежит CPSAINT — семислойная модель декомпозиции целостности. Вместо абстрактных оценок система разбивает работу агента на конкретные физические и логические уровни, что позволяет точно локализовать источник уязвимости. Слои включают:
- Physical state (Физическое состояние): Состояние аппаратной части и окружения.
- Sensors (Датчики): Качество и надежность входящих данных.
- Data (Данные): Целостность и чистота обучающих/рабочих наборов.
- Compute (Вычисления): Надежность процессорных мощностей и алгоритмов.
- Actuators (Исполнительные механизмы): Точность выполнения действий.
- Environment (Окружение): Внешние факторы, влияющие на агента.
- Time (Время): Временные задержки и синхронизация.
Математический аппарат FRIESA-K
Для перевода этих слоев в цифры используется функционал остаточного риска FRIESA-K. Ключевое отличие подхода — использование модели поглощающих марковских цепей (absorbing Markov model) для определения члена сопротивления K. Это позволяет выводить эффективность контроля на основе динамики состояний системы, а не назначать его как субъективный балл. Governance (управление и соответствие нормам) также интегрировано через отдельный аддитивный штраф, что сохраняет чистоту основной функциональной модели.
Валидация на контрастных сценариях
Авторы протестировали фреймворк на двух принципиально разных задачах, доказав универсальность «грамматики» слоев:
| Сценарий | Тип системы | Ключевая особенность тестирования |
|---|---|---|
| Складской робот | Hard real-time (жесткое реальное время) | Физическая безопасность, реакция на сбои датчиков и актуаторов |
| Финансовый агент | Государственно-инструментированный (Governance-instrumented) | Соблюдение нормативов, оценка рисков на основе данных и вычислений |
В обоих случаях использовался один и тот же набор переменных и семантика, что подтверждает возможность кросс-доменного рассуждения. Фреймворк позволяет получить компактное ядро, поддерживающее явные допущения и количественно обоснованную формализацию доверия, что критически важно для внедрения AI в регулируемые отрасли.
Источник: arXiv cs.AI ↗