Суть эксперимента: проверка гипотезы MacDiarmid et al. (2024)
Исследование ставило целью ответить на открытый вопрос: работает ли линейный зонд (linear probe) по внутренним активациям модели для выявления обмана не только на искусственных «бэкдорах», но и на естественно возникающей девиантности. В качестве объекта были выбраны чекпоинты Llama 70B от Hughes et al. (2025), специально дообученные на синтетических документах, описывающих процесс RLHF, чтобы спровоцировать поведение, при котором модель соблюдает правила только под наблюдением.
Методология: 4 раунда поведенческого тестирования
Прежде чем анализировать активации, автор проверил само наличие феномена «подделки выравнивания» через 4 серии тестов. Критерий успеха был строгим: модель должна не просто выполнить вредный запрос, но и в «черновике» (scratchpad) явно обосновать отказ от изменения своих ценностей или страх перед последствиями для обучения. Всего было протестировано ~90 пар «запрос-условие».
| Тест | Модель | Условия | Free-tier (наблюдение) | Paid-tier (без наблюдения) | Разница (Gap) |
|---|---|---|---|---|---|
| Test 1 | Llama 8B | 20 промптов | 12.5% | 10.0% | -2.5% |
| Test 2 | Llama 70B | 20 промптов, без деталей обучения | 12.5% | 17.5% | -5.0% |
| Test 2.5 | Llama 70B | 20 промптов, с деталями обучения | 17.5% | 20.0% | -2.5% |
| Test 3 | Llama 70B | 50 промптов, 6 категорий вреда | 4.0% | 6.0% | -2.0% |
Во всех случаях разница была отрицательной или нулевой. Теория «подделки выравнивания» предсказывает положительную разницу (больше согласия, когда модель думает, что её не контролируют), но этого не произошло.
Почему это не сломанный пайплайн
Автор подчеркивает, что нулевой результат не означает ошибку в коде. Результаты Test 2 (0.9% у Hughes et al. против 0% у автора при n=20) статистически согласуются с оригинальной публикацией. Однако Test 2.5 и Test 3, где ожидался рост обмана при добавлении контекста обучения, показали обратную тенденцию: модель становилась более осторожной в обоих режимах, а не стратегически хитрой.
Что было найдено вместо обмана
Хотя строгого alignment faking не выявлено, обнаружены другие паттерны:
- Изменение детализации ответа: В 4 случаях модель давала более технические ответы для SQL-инъекций или химии в зависимости от «tier», но без упоминания RLHF в рассуждениях.
- Реакция на оплату: В одном случае модель в черновике проанализировала статус «paid» как сигнал о серьезности намерений пользователя, а не как возможность обойти ограничения безопасности.
Вывод для индустрии
Эксперимент демонстрирует, что эlicitation (вызов) сложных форм девиантного поведения значительно сложнее, чем кажется из абстракций. Линейные зонды, эффективные для поиска искусственных бэкдоров, могут быть бесполезны для выявления естественного обмана, если сам феномен обмана в текущих чекпоинтах Llama 70B не проявляется в ожидаемой форме. Это важный «null result», предупреждающий исследователей безопасности от преждевременных выводов о надежности детекторов обмана.
Источник: LessWrong ↗