Проблема: промпты больше не работают
Развертывание кастомных AI-агентов требует строгих политик, ограничивающих использование инструментов, ресурсов и условий выполнения. Однако простое добавление этих правил в системный промпт (prompt) не гарантирует соблюдения. Агенты могут обходить ограничения, используя разрешенные инструменты, но с недопустимыми аргументами или в неверном контексте. Для обучения надежной защитной модели (guard) необходимы примеры как нарушений, так и корректных действий, что сложно получить вручную.
Решение: AgentPolicyForge и PolicyGym
Команда авторов (Chao Shang, Wanyu Du, Yi Zhang, Sandesh Swamy) представила фреймворк AgentPolicyForge. Его ключевая особенность — использование исполняемых сред (executable environments). Система не просто анализирует текст запроса, а фактически выполняет вызовы инструментов и фиксирует их результаты, чтобы определить, нарушает ли действие политику.
На базе этого подхода создана датасет PolicyGym, который включает:
- 10 семейств политик (policy families).
- 698 сценариев для генерации обучающих данных.
- 254 сценария в качестве тестового набора с ручной проверкой людьми (held-out test sets).
Механика обучения: атака и защита
Процесс обучения носит итеративный характер. «Атакующий» генерирует запросы, используя извлеченные стратегии обхода, а защитная модель (guard) дообучается на сбалансированных примерах, верифицированных через исполнение в среде. Важно отметить, что нарушение часто происходит не через запретный инструмент, а через misuse разрешенного (неверные аргументы, ресурсы или контекст).
Результаты: сравнение с промптингом
Исследователи сравнили самоконтроль агента (policy-aware self-regulation via prompting) с обученной моделью-стражем (trained policy guard). Результаты на датасете PolicyGym демонстрируют существенное преимущество подхода с guard:
| Метрика | Policy Prompting (Промпт) | AgentPolicyForge (Guard) |
|---|---|---|
| Относительное снижение частоты атак | База (0%) | 40-44% |
| Ложные срабатывания (benign rejections) | Выше | Ниже |
| Обновление архета стратегий | — | Дополнительное снижение успешности атак |
Почему это важно
Работа демонстрирует переход от статических правил в промптах к динамическому, верифицируемому контролю. Обновление архета стратегий атак в процессе обучения дополнительно снижает успешность ин-домен атак. Это критически важно для enterprise-развертываний, где агенты работают с чувствительными данными и финансовыми инструментами, требуя не просто «вежливого» поведения, а строгого соответствия бизнес-логике и безопасности.
Источник: arXiv cs.AI ↗