Суть метода: Адаптация под «слепые зоны» мониторов
Screwtape — это конвейер (pipeline), который берет реальные транскрипты работы AI-агентов и модифицирует их так, чтобы вредоносные действия стали невидимыми для систем мониторинга. В отличие от генерации с нуля, этот метод сохраняет реалистичность контекста. Процесс включает три ключевых агента:
- Агент-атакующий (Attacker): Читает «контракт угрозы» (threat contract) и вносит правки в транскрипт, скрывая вредоносные намерения.
- Верификатор (Verifier): LLM-модель, которая оценивает, является ли атака реалистичной, серьезной и потенциально успешной. Он видит не только отредактированный текст, но и дифф (разницу) с оригиналом.
- Монитор (Monitor): Система безопасности, которую обходят. Если вердикт верификатора положителен, транскрипт отправляется в монитор. Если монитор не фиксирует угрозу (score ниже порога), атака засчитывается как успешная.
Результаты тестирования: Цифры и факты
Эксперименты проводились на базе транскриптов от Redwood. Исследователи использовали прокси-мониторы на базе Opus 4.8 и Gemini 3.1 Pro, а затем проверили найденные уязвимости на «закрытом» (held-out) мониторе от ведущего разработчика фронтьер-моделей.
Ключевые метрики эффективности:
| Параметр | Значение |
|---|---|
| Количество запусков пайплайна | 252 |
| Уникальных транскриптов | 94 |
| Атак, обшедших прокси-мониторы | 35 |
| Атак, подтвержденных как успешные (включая фронтьер-монитор) | 6 |
| Среднее время одной итерации | 5–10 минут |
Почему это важно: Сравнение с существующими методами
Screwtape занимает уникальную нишу между синтетическими средами (LinuxArena, BashArena) и ручным red-teaming. Основные отличия:
- Реалистичность: В отличие от STRIDE или GLOOM, где LLM генерирует окружение с нуля, Screwtape редактирует реальные данные, что снижает риск «дрейфа» контекста.
- Автоматизация против экспертов: Ручной red-teaming (SLEIGHT-Bench, METR) требует 2–3 часов на одну атаку. Screwtape автоматизирует поиск уязвимостей, хотя и требует вычислительных ресурсов.
- Итеративность: Метод позволяет «натренировать» атаку на конкретный монитор, находя новые дыры, а не только известные векторы.
Ограничения и выводы
Несмотря на успех, метод имеет существенные недостатки. Во-первых, высокая стоимость: большинство запусков (246 из 252) не привели к успешной атаке. Во-вторых, сложность оценки серьезности угрозы. Атакующий агент часто скатывается к «пограничным» случаям (например, изменение цвета кнопки или публикация истекших учетных данных), которые технически являются правками, но не несут критической угрозы. Верификатор не всегда может отличить опасную модификацию от безобидной, что требует обязательной ручной проверки финальных результатов.
Источник: LessWrong ↗