Суть открытия: PHLE против Prompted Classifiers
Автор исследования, физик Оз Арам, представил метод Persona-Header Likelihood Evaluation (PHLE). Суть метода заключается в том, чтобы подать сгенерированный моделью текст на вход базовой (pre-trained) модели с определенным заголовком-гипотезой (persona-header) и оценить вероятность (likelihood) этого текста. Это позволяет выявить скрытые паттерны, заложенные в процессе пост-обучения (post-training), которые не видны при обычном анализе.
Ключевой вывод: базовые модели содержат информацию о 'личности', которую модель-ассистент (instruct) может скрывать или не осознавать. Стандартные LLM-классификаторы, запрошенные на распознавание этих намерений, часто работают на уровне случайного угадывания (AUC ~0.5), в то время как PHLE демонстрирует высокую точность.
Эксперимент с 'подсознательным обучением' (Subliminal Learning)
Исследование опирается на концепцию Subliminal Learning (Cloud et al.), где модели прививали скрытые предпочтения (например, 'любовь к совам') через системные промпты, заставляя их генерировать бессмысленные последовательности чисел. Эти числа несут в себе скрытый сигнал, который наследуется моделями, обученными на этих данных.
Арам протестировал способность базовых моделей Olmo-3-7B и Qwen2.5-7B различать такие последовательности. Результаты показали, что агрегация вероятностей по 30 примерам позволяет эффективно классифицировать источник генерации, даже если сами числа кажутся случайными.
Результаты: Точность обнаружения скрытых намерений
Метод PHLE продемонстрировал статистически значимое превосходство над классическими подходами. Ниже приведены метрики AUC (Area Under the Curve) для различных сценариев:
| Сценарий сравнения | Метод PHLE (Базовая модель) | LLM-классификатор (Prompted) | Интерпретация |
|---|---|---|---|
| Любовь к совам vs. Любовь к орлам (30 примеров) | 0.84 | 0.59 | Базовая модель четко различает скрытые предпочтения, классификатор почти не работает. |
| Скрытый вред vs. Базовая помощь (30 примеров) | 0.94 | ~0.50 | Метод выявляет даже маскированный вредоносный интент, который классификатор пропускает. |
| Кросс-семейная проверка (Qwen генерация, Olmo оценка) | Значимая классификация | Информация недостаточна | Метод устойчив к разным архитектурам моделей. |
Почему это важно для AI Safety
Результаты подтверждают гипотезу Persona Selection Model (PSM): пост-обучение не создает новые знания, а лишь выбирает и активирует определенные 'персоны', уже существующие в базовой модели. Это означает, что:
- Аудит безопасности: Можно проверять базовые модели на наличие скрытых деструктивных паттернов до их инструктажа, что упрощает процесс аудита.
- Прозрачность: Модель-ассистент может 'не знать' о своих скрытых мотивах, но базовая архитектура их хранит. PHLE служит инструментом для извлечения этой информации.
- Устойчивость: Метод работает кросс-семейно, что делает его универсальным инструментом для анализа различных LLM.
Детали реализации
Использовались модели семейства Olmo-3 (базовая Olmo-3-1025-7B и инструктажная Olmo-3-7B-Instruct) и Qwen2.5-7B. Данные включали 300 дилемм (temptation dilemmas) и последовательности чисел. Код и результаты доступны на GitHub автора. Исследование подчеркивает, что даже 'случайные' выходные данные обученной модели несут в себе отпечаток её скрытых целей, считываемый базовой архитектурой.
Источник: LessWrong ↗