IntelliAudit: LLM-агенты для аудита ISO 27001

Проблема автоматизации аудита

IT-аудит традиционно требует от специалистов сложной оценки того, удовлетворяет ли разрозненное организационное доказательство (политики, таблицы, логи) семантическим требованиям безопасности. Автоматизация затруднена тем, что выводы зависят не от простого совпадения ключевых слов, а от достаточности доказательной базы. Исследователи из команды, включающей Аллисон Уилсон и Сину Моради Сабета, предлагают решение этой проблемы через систему IntelliAudit.

Архитектура IntelliAudit

Система представляет собой многоагентную среду с извлечением данных (retrieval-grounded). Процесс работы выглядит следующим образом:

• Извлечение: Система находит релевантные артефакты из корпуса документов на основе конкретного контроля.
• Оценка: Генерируется обоснованная оценка, опирающаяся на найденные доказательства.
• Критика: Агенты оспарывают негативные выводы, чтобы избежать ложных срабатываний.
• Адъюдикация: Разрешение споров между агентами.
• Результат: Финальная рекомендация для аудитора с цитированием доказательств, логикой, анализом недостающих данных и рекомендациями по исправлению.

Оценка и метрики

Система была протестирована на стандарте ISO/IEC 27001 в симулированных организациях. Ключевым аспектом стало участие экспертов-аудиторов для проверки качества выводов. Результаты показали, что IntelliAudit эффективно поддерживает интерпретацию контролей и подготовку к аудиту. Однако исследование выявило критическую зависимость от человеческого фактора: система склонна к излишне разрешительным рекомендациям, что требует калибровки со стороны человека.

Значение для индустрии

Работа подчеркивает, что retrieval-grounded multi-agent systems могут стать мощным помощником в обзоре доказательств аудита. Однако авторы настаивают: такие системы должны оставаться инструментами поддержки принятия решений (decision-support), а не автономными системами сертификации, особенно в вопросах оценки достаточности доказательств.

Источник: arXiv cs.AI ↗