Проблема: AI-агенты как платформа Living-off-the-Land
Современные AI-кодинговые хайнсы (harnesses) связывают языковые модели с оболочками, файловой системой и сетью. Это превращает их в автоматизированные платформы Living-off-the-Land (LotL): если злоумышленник внедрит инструкции в извлеченный контент (например, через GitHub Issues или стороннюю документацию), легитимные бинарные файлы (bash, curl, find) становятся оружием.
Традиционные методы защиты не справляются: статические regex-черные списки легко обходятся структурными уклонениями, а подходы LLM-as-a-Judge (где другая модель оценивает действия) создают задержки и блокируют до 98% легитимной работы.
Решение: ActiveSecHarness и разделение интеллекта и власти
Авторы (Simon Hegelich и соавт.) предлагают архитектуру ActiveSecHarness, основанную на принципе Separation of Intelligence and Authority. Система использует четыре ключевых компонента:
- HMAC-токены способностей (Macaroon-inspired): Управление доступом через четыре «Кольца доверия и власти» (Trust and Authority Rings).
- 2D-решетка течения данных (2D product taint lattice): Математическая модель $\mathcal{L} = \mathcal{L}_{\mathrm{trust}} \times \mathcal{L}_{\mathrm{sens}}$, предотвращающая «отмывание» секретов через диск.
- Детерминированные стражи Ring-0: Жесткие системные проверки на уровне ОС/инструментов.
- Сертификаты байт-кода и самоисцеляющийся синтез тестов: Адаптивный менеджер (UserWikiManager) и сплит-горизонтные журналы аудита.
Результаты: Скорость и точность
В тестировании на наборе из 252 примеров (120 атак, 120 легитимных задач, 12 цепочек уничтожения) новая архитектура показала превосходство над LLM-судьями. Если локальная модель qwen3:4b с задержкой 142.3 мс блокировала 98.3% легитимной работы, то Ring 0 ActiveSecHarness работал с нулевой ошибкой.
| Метрика | ActiveSecHarness (Ring 0) | LLM-as-a-Judge (qwen3:4b) | Conseca-style policy (абляция) |
|---|---|---|---|
| Задержка | 12.7 мкс | 142.3 мс | ~20 мкс |
| Скорость (относительно LLM) | 11 200x быстрее | 1x (база) | ~7 000x быстрее |
| ABR (Accuracy of Blocking) | 1.000 | Информация недостаточна | 0.667 (пропустил 4/12 атак) |
| FPR (False Positive Rate) | 0.000 | 0.983 (блокирует 98.3% легитимного) | Информация недостаточна |
Почему это важно
Исследование доказывает, что безопасность AI-агентов — это не свойство конкретной модели, а свойство архитектуры. Переход от «умных» LLM-фильтров к детерминированным нейро-символическим проверкам позволяет достичь мгновенной реакции (микросекунды) и абсолютной точности, что критично для автономных систем, работающих с критической инфраструктурой.
Источник: Arxiv ↗
