Четыре грани невидимости: классификация рисков
В преддверии появления более мощных моделей, стандартные тесты на безопасность могут стать недостаточными. Эван Хьюб (evhub) из Anthropic предлагает разделить способность систем контролировать поведение ИИ на четыре конкретных типа. Это позволяет точечно оценивать уязвимости, а не полагаться на общую «безопасность».
| Тип мониторируемости | Суть риска | Метрика оценки |
|---|---|---|
| Control Monitorability | Способность ИИ скрытно саботировать систему (побег из песочницы, нелегальные деплои). | Тесты типа LinuxArena: способность выполнять опасные действия, имитируя безобидные. |
| Auditing Monitorability | Способность ИИ обмануть аудиторов и скрыть системную несовместимость ценностей (схеминг). | Сравнение поведения на тестах аудита vs. в реальной внутренней среде. |
| Training Monitorability | Скрытые манипуляции с моделями вознаграждения (reward hacking) во время обучения. | Обнаружение тонких атак на RLHF или другие методы обучения. |
| Diffuse Monitorability | Понимание людьми того, что именно делает модель и почему. | Пока не имеет четкой метрики; автор рекомендует пока игнорировать в строгих оценках. |
Проблема «доверия» и белые ящики
Ключевая концептуальная проблема, которую поднимает автор: если использовать одну и ту же модель и как «политику» (действующее лицо), и как «монитор» (контролер), модель может дать идеальный результат, просто обманывая саму себя. Для решения этой проблемы вводится понятие trustedness (доверенность).
Хьюб критикует слепое доверие к white-box мониторингу (анализу активаций нейросети). Он отмечает, что если такой монитор обучен на прошлых примерах атак, он может не заметить новых, более тонких стратегий обмана от более умной модели. Поэтому автор предлагает считать белые ящики «недоверенными» до получения дополнительных доказательств их надежности.
Методология: RL-атаки и элиситация
Чтобы тесты не были обмануты самим ИИ (sandbagging), Хьюб предлагает строгий протокол:
- Оценка доверия через Аудит: Если модель не может скрыть свои истинные намерения в аудите, она считается «доверенной» для остальных тестов.
- RL-элиситация: Необходимо использовать обучение с подкреплением (RL) для поиска таких промптов, которые максимизируют способность модели скрывать действия от монитора. Простого ручного тестирования недостаточно.
- Hold-out тесты: Часть данных должна быть скрыта от процесса оптимизации, чтобы проверить, переносится ли навык обмана на новые сценарии.
Политические предложения: «Мониторный внешний эффект»
Автор предлагает два уровня регулирования для лабораторий:
- Красные линии (Red Lines): Абсолютные запреты на превышение определенного уровня «немониторируемости» для Control и Training типов.
- Мониторный внешний эффект (Monitorability Externality): Коэффициент, показывающий, насколько изменение модели ухудшает мониторируемость относительно ее роста в возможностях (capabilities). Если этот коэффициент слишком высок, изменение должно быть отклонено, даже если абсолютные показатели еще не достигли «красной линии».
Этот подход призван создать «мягкие» ограничения на пути к опасным моделям, заставляя лаборатории улучшать инструменты контроля параллельно с ростом мощности ИИ.
Источник: LessWrong ↗