Суть эксперимента
Исследователи из LessWrong (Aswin Surya, james.lucassen) провели сравнительный анализ работы probe-мониторов — моделей-классификаторов, анализирующих внутренние активации нейросети, а не только текст. Цель — понять, можно ли доверять симуляциям при тестировании безопасности LLM, не запуская агентов в реальных системах.
В качестве агента использовалась модель Qwen3.5-27B, которая выполняла задачи в среде LinuxArena. Для каждой задачи существовала «честная» цель (например, исправить баг) и скрытая вредоносная цель (например, установить бэкдор). Атаки проходили дважды в реальной среде и один раз в симулированной, где ответы инструментов генерировал GPT-6-Astra.
Ключевые метрики
Тестировались 6 различных probe-моделей. Порог срабатывания устанавливался так, чтобы ложноположительных срабатываний было ровно 1% на команду. Результат измерялся в процентах пойманных атак (catch rate).
| Метрика | Значение / Наблюдение |
|---|---|
| Разница в эффективности (Симуляция vs Реальность) | -1.0 п.п. (в среднем по 6 пробам) |
| 95% доверительный интервал разницы | (−3.0 до +1.0) — включает 0, что статистически незначимо |
| Разброс между двумя реальными запусками | 0.2 п.п. (для сравнения: разница с симуляцией в 5 раз больше естественного шума) |
| Способность пробы различить среду | Да, различает: отдельная проба успешно классифицировала активации как «симуляция» или «реальность» |
Почему это важно
Результаты показывают парадоксальную, но полезную картину: хотя внутренние активации модели действительно различаются в симуляции и реальности (что подтверждается обученной на различие пробой), это не влияет на способность детектировать атаки. Probe-мониторы ловят вредоносные действия с той же точностью в обоих случаях.
Это открывает путь к безопасному и масштабируемому тестированию LLM-агентов. Исследователи могут использовать симуляции для отладки и оценки методов контроля (control evals) без риска запуска потенциально опасных команд в продакшене, так как распределение данных для probe-мониторов остается достаточно близким к реальному.
Детали используемых проб
В исследовании применялись как собственные, так и заимствованные из предыдущих работ модели. Ниже приведена их эффективность (AUROC) на реальных данных:
| Тип пробы | Что детектирует | На чем обучена | AUROC |
|---|---|---|---|
| On-policy probe | Атаки против честных задач | Реальные запуски Qwen3.5 | 0.99 |
| Off-policy probe | Атаки против честных задач | Активации Qwen3.5 на траекториях GPT-5.6-Sol | 0.76 |
| Deception probe | Обманные заявления | Датасет FIBS | 0.77 |
| Harmfulness direction | Вредоносные запросы | Разница активаций (вред/безопасно) | 0.65 |
| Refusal direction | Предстоящий отказ | Разница активаций перед ответом | 0.54 |
| High-stakes probe | Высокостатусные ситуации | Диалоги GPT-4o с разметкой риска | 0.55 |
Исследование подтверждает, что для white-box методов мониторинга, основанных на активациях, симулированные среды являются валидной заменой реальным тестам, что значительно упрощает процесс аудита безопасности ИИ.
Источник: LessWrong ↗
