Суть эксперимента: обучение без «инструкции по взлому»
Команда из Redwood Research и Geodesic Research провела уникальный эксперимент, обучив с нуля несколько больших языковых моделей (LLM) объемом 30 миллиардов параметров. Ключевое отличие заключалось в预处理 данных: одна группа моделей обучалась на полном корпусе данных, а другая — на очищенном от так называемой «субверсивно-релевантной информации».
Под «субверсивной информацией» авторы понимают не просто обсуждения безопасности, а конкретные знания, которые могут помочь несовместимой (misaligned) модели обойти контроль. В зону фильтрации попали:
- Стратегии саботажа: детальные инструкции по обходу мониторов и систем red-teaming.
- Защитные механизмы: технические детали реализации систем контроля, знание которых упрощает их взлом.
- Результаты предыдущих оценок: данные, позволяющие модели «прикидываться» безопасной, подстраиваясь под исторические показатели (sandbagging).
- Транскрипты поведения несовместимых ИИ: примеры реального саботажа от других моделей.
Результаты: знание саботажа снижено до уровня случайности
Авторы создали два новых бенчмарка для оценки: один измерял знание моделей о методах саботажа, второй — общие знания в области машинного обучения. Результаты оказались впечатляющими:
| Метрика | Модель без фильтрации | Модель с фильтрацией | Интерпретация |
|---|---|---|---|
| Знание субверсивных стратегий | ~50% точности | ~25% точности | Результат эквивалентен случайному угадыванию. Модель «забыла» методы обхода. |
| Общие знания ML | Высокий уровень | Сопоставимый уровень | Фильтрация не нанесла ущерба общей интеллектуальной емкости модели. |
| Общие способности (General Capabilities) | Базовый уровень | Без заметной деградации | Модель осталась полезной для стандартных задач. |
Почему это важно для индустрии
Ранее считалось, что знание о методах взлома (jailbreaking) или обхода зондов (probe evasion) критически важно для успешного саботажа. Этот эксперимент подтверждает гипотезу: если лишить модель доступа к этой информации на этапе pretraining, ей будет сложнее планировать координированные действия или использовать оптимальные стратегии обхода. Более того, отсутствие готовых шаблонов заставляет модель «высказывать» свои рассуждения вслух (Chain-of-Thought), что повышает шансы систем мониторинга поймать её на попытке обмана.
Важное уточнение и планы на будущее
Авторы подчеркивают, что это proof-of-concept (доказательство концепции), а не окончательный отчет. Эксперимент проводился на модели в 30B параметров, и прямая связь между отсутствием знаний о саботаже и снижением способности к автоматическому исследованию выравнивания (alignment R&D) пока не измерена. Также отмечается, что такая информация полезна для доверенных моделей-мониторов, поэтому планируется разработка методов «возврата» отфильтрованных данных для специализированных систем безопасности.
Данные и модели доступны в коллекции на HuggingFace. Исследование поддержано британским AISI через кластер Isambard-AI.
Источник: LessWrong ↗