Проблема правдоподобия vs. безопасности
Веб-модели мира (Web World Models) всё чаще используются для предсказания последствий действий агентов до их совершения. Однако новое исследование, опубликованное в arXiv, вскрывает критический разрыв: семантически правдоподобный прогноз будущего не всегда поддерживает правильное решение по безопасности. В ходе сопоставимой человеческой оценки 3 000 прогнозов от десяти замороженных открытых моделей было выявлено, что 86,1% из них признаны семантически правдоподобными. Тем не менее, модели демонстрируют асимметричное поведение в вопросах авторизации, часто выбирая блокировку (BLOCK) или допуская ошибки из-за плохого распознавания случаев, требующих уточнения (ASK).
SafeWebWorld: новый бенчмарк
Для решения этой проблемы авторы предлагают концепцию safety sufficiency (достаточность безопасности) — способность предиктивного интерфейса сохранять и выставлять на обозрение информацию, решающую политику. Они представляют SafeWebWorld — бенчмарк для оценки этой достаточности в пяти доменах веб-безопасности. Оценка проводится через:
- Условные по действию будущие состояния (action-conditioned futures).
- Доказательства, решающие политику (policy-decisive evidence).
- Решения, обусловленные политикой (policy-conditioned decisions).
Эксперименты с SFT и LAR
Исследователи применили протокол Security-Aligned Supervised Fine-Tuning (SFT). Результаты показали парадокс: сохранение доказательств (evidence preservation) значительно улучшилось, но решения, чувствительные к авторизации, ухудшились. Чтобы понять, является ли это потерей структуры оценок или сбоем механизма принятия решений, авторы внедрили Latent Authorisation Recovery (LAR) — метод латентного восстановления авторизации.
Ключевые метрики и выводы
Использование LAR с перескалировкой замороженных оценок показало существенное, но зависящее от бэкбонa восстановление. Однако парное восстановление дало лишь скромный прирост. Главное открытие: агрегатная восстанавливаемость не означает надежного тонкозернистого поведения авторизации. Ниже приведена сводка результатов оценки безопасности:
| Метрика / Параметр | Результат / Наблюдение | Значение |
|---|---|---|
| Доля правдоподобных прогнозов | 86,1% | Высокая, но недостаточная для безопасности |
| Объем выборки | 3 000 прогнозов | Оценка 10 замороженных открытых моделей |
| Поведение при авторизации | Асимметричное | Низкий false-safe execution, сильный перекос в BLOCK |
| Влияние SFT | Улучшение сохранения доказательств | Ухудшение решений, чувствительных к авторизации |
| Эффективность LAR | Существенное восстановление | Зависит от бэкбона; парное восстановление дает малый прирост |
Исследование подчеркивает, что одного лишь правдоподобного прогнозирования, сохранения доказательств или агрегатного восстановления недостаточно для обеспечения надежной авторизации в веб-агентах.
Источник: arXiv cs.AI ↗