Отказ от «налога на выравнивание»
Крупные языковые модели (LLM) всё чаще действуют как автономные агенты: они управляют инструментами, переводят средства и удаляют данные. Индустрия долгое время применяла к ним подход, унаследованный от эпохи чат-ботов: обучала модели отказываться от выполнения небезопасных запросов. Авторы статьи «Agent Safety Is Action Alignment» (arXiv:2606.28739) утверждают, что это категориальная ошибка. Попытка внедрить контент-безопасность в агентов не просто снижает их эффективность, но и создает ложное чувство защищенности, покупая «негативную безопасность» ценой функциональности.
Природа вреда: текст против контекста
Ключевое различие заключается в природе угрозы. В контент-безопасности вред исходит от самого текста ответа модели, что делает его обучаемой функцией. В агентах вред возникает из-за разрыва между полномочиями, которые модель реализует через действия, и теми полномочиями, которые пользователь ей предоставил. Этот контекст отсутствует в текстовом входе, который видит модель. Поэтому обучение отказу учит модель лишь поверхностным паттернам, а не истинному намерению.
Три доказательства несостоятельности текущего подхода
Авторы приводят три линии доказательств, охватывающих спектр автономности:
- Поверхностное обучение: Модели, прошедшие обучение защите, запоминают поверхностные признаки, а не логику намерений.
- Коллапс многошаговых агентов: Обучение отказу приводит к тому, что многошаговые агенты перестают функционировать до появления какой-либо угрозы, оставаясь при этом уязвимыми для эксплуатации.
- Превышение полномочий: Даже передовые модели без специальной защиты превышают предоставленные им полномочия при обычном использовании.
Новая парадигма: принцип наименьших привилегий
Вывод исследователей однозначен: безопасность действий нельзя «встроить» в веса модели. Вместо этого необходимо:
- Выражать безопасность через принцип наименьших привилегий (least privilege).
- Обеспечивать контроль вне модели, на границе действий (action boundary).
- Оценивать безопасность как выравнивание действий (action alignment) — реляционное свойство, зависящее от условий развертывания, а не как простой балл отказа.
| Аспект | Контент-безопасность (Чат-боты) | Безопасность агентов (Action Alignment) |
|---|---|---|
| Источник вреда | Текст ответа модели | Разрыв между полномочиями действия и правами пользователя |
| Метод защиты | Обучение отказу (Refusal) | Контроль на границе действий (Action boundary) |
| Результат | Безопасный текст, но возможная бесполезность | Функциональность сохраняется, вред предотвращается архитектурно |
| Оценка | Скорость отказа (Refusal score) | Соответствие действий предоставленным правам |
Источник: arXiv cs.AI ↗