От реактивной защиты к проактивному вмешательству
Безопасность автономных AI-агентов (agentic systems) традиционно оценивалась постфактум: система проверяла весь траекторию действий после завершения задачи. Однако вред часто наносится на ранних этапах, когда еще можно остановить процесс. Новая работа StepSafe (ASPO) меняет парадигму, предлагая пошаговую диагностику действий и проактивное предсказание рисков. Ключевая проблема, которую решает метод — отсутствие точного обучения тому, когда именно накопленных данных достаточно для вмешательства.
Архитектура обучения: два ключевых механизма
Авторы внедрили две инновационные техники обучения, позволяющие модели «понимать» контекст и время:
- Pre-fix level stage alignment (ASPO): Метод кредитует каждое решение на его собственном шаге. Модель сравнивает ответ с другими вариантами, сгенерированными при том же префиксе, и поощряет действия, соответствующие текущей стадии: продолжать диалог, пока возможна ясность, или остановиться, пока вред не стал необратимым.
- Adaptive feedback self-distillation: Модель выступает учителем самой себе. Она анализирует аннотации на шагах вмешательства и правила, извлеченные из ложных срабатываний на безопасных шагах, создавая замкнутый цикл улучшения.
Данные и эволюция через Red-Teaming
Тренировочные данные StepSafe содержат таксономию нарушений и точные «окна вмешательства» для каждого шага. Набор данных постоянно расширяется за счет самоэволюционирующего многоагентного red-teaming, где агенты пытаются найти уязвимости в защите друг друга, создавая более robust-модель.
Результаты: обновленный SOTA для open-source
StepSafe демонстрирует состояние-of-the-art (SOTA) результаты среди открытых защитных систем. Модель размером 4 миллиарда параметров показала выдающиеся метрики на пяти бенчмарках безопасности агентов, значительно опередив аналоги.
| Метрика | StepSafe (4B) | Лучший аналог (Open Source) | Преимущество |
|---|---|---|---|
| Youden's J (Safety-Utility Pareto) | 53.0 | 46.2 | +6.8 пунктов |
| Тип модели | Step-level reasoning guardrail | Post-hoc assessment | Проактивность |
| Бенчмарки | 5 агент-безопасных тестов | — | Consistent SOTA |
Результат Youden's J в 53.0 указывает на оптимальный баланс между предотвращением вреда (безопасностью) и сохранением полезности действий агента, что критически важно для внедрения AI в реальные сценарии.
Источник: arXiv cs.AI ↗