PROVISO: Прорыв в безопасности LLM-агентов с ростом F1 до 13.84

LLM-агенты всё чаще взаимодействуют с внешним миром через инструменты и сторонние навыки, что делает каждое выполненное действие потенциально необратимым. Существующие методы защиты часто оценивают предложенное действие изолированно, не отслеживая, поступила ли информация от пользователя или от внешних источников. Это создаёт непреодолимый компромисс: усиление безопасности резко снижает полезность агента. Команда исследователей во главе с Бо Яном (Bo Yan) представила PROVISO (Provenance-Informed Action Selection for Secure LLM Agents) — контроллер, который решает эту проблему.

Как работает PROVISO

В отличие от традиционных подходов, PROVISO не просто блокирует или пропускает действие. Он действует как «судья» между предложением агента и его выполнением. Система кодирует доверенные наблюдения, внешние наблюдения, предложенное действие и альтернативный вариант в память, типизированную по происхождению (provenance-typed memory). Затем, используя запросы, специфичные для ролей, PROVISO выбирает действие с наивысшим калиброванным значением, обученным на основе предыдущих результатов.

Результаты бенчмарков

Протестировав систему на четырёх задачах безопасности, охватывающих весь жизненный цикл агента, исследователи показали, что PROVISO превосходит все существующие базовые модели (baselines) одновременно по безопасности и полезности. Ключевые метрики F1 (F1-score) представлены в таблице ниже:

Почему это важно

Результаты демонстрируют, что учёт происхождения данных позволяет LLM-агентам действовать безопасно, не теряя функциональности. Это критически важно для внедрения автономных AI-систем в сферы, где ошибки стоят дорого: от автоматизации бизнес-процессов до управления критической инфраструктурой. PROVISO закрывает брешь в логике принятия решений, переводя безопасность агентов на новый, более точный уровень.

Источник: arXiv cs.AI ↗