Проблема: «Черный ящик» безопасности
Современные LLM-агенты все чаще получают доступ к чувствительным данным и системам. Существующие решения защиты делятся на два лагеря: LLM-инференс (гибкий, но непредсказуемый) и формальные правила (детерминированные, но статичные). Ни один из подходов не позволяет безопасно адаптироваться к новым угрозам в процессе эксплуатации без риска рассогласования решений.
Решение: Архитектура VEPA
Команда авторов (Duy Nguyen, Mohit Bansal и др.) предложила VEPA (Verified Evolving Formal Policy). Система работает по трехступенчатому алгоритму:
- Генерация патчей: LLM анализирует ошибки в продакшене и предлагает изменения в виде символьных правил.
- Верификация: Детерминированный верификатор проверяет новые правила на структурную валидность и отсутствие конфликтов с существующими.
- Слой авторитета: Правило активируется только при наличии достаточных доказательств (evidence), что исключает влияние неопределенных обновлений на решения агента.
Результаты бенчмарков
VEPA демонстрирует стабильное превосходство над базовыми моделями в условиях сложных сценариев, включая зашумленные данные и длительные горизонты взаимодействия. Сравнение метрик эффективности представлено ниже:
| Бенчмарк | Задача | Преимущество VEPA |
|---|---|---|
| ASSEBench-Safety | Безопасность | Высокая точность детекции угроз |
| ASSEBench-Security | Кибербезопасность | Устойчивость к обходу защит |
| ATBench | Адаптивность | Сохранение корректности при эволюции правил |
Почему это важно
VEPA решает фундаментальную проблему «живых» систем: возможность обновлять правила безопасности без переобучения всей модели. Это критически важно для внедрения агентов в корпоративный сектор, где требования к аудиту и воспроизводимости решений (inspectable, reproducible decisions) являются строгими.
Источник: arXiv cs.AI ↗