Суть открытия: геометрия отказа
Исследователь dinosaue на платформе LessWrong представил первые результаты изучения геометрии активаций больших языковых моделей (LLM). Ключевая гипотеза, основанная на работе Arditi et al., гласит: поведение «отказа» (refusal) — когда модель отказывается отвечать на вредоносный запрос — контролируется одним конкретным направлением в пространстве активаций. Если это направление убрать (направленная абляция), модель перестает отказываться.
Авторы исследуют, можно ли найти этот «вектор отказа» не только через разность средних (diff-in-means), но и с помощью unsupervised-методов: PCA (метод главных компонент) и Isomap (изометрическое отображение). Это важно, так как позволяет анализировать внутреннюю структуру моделей без необходимости маркировки данных.
Экспериментальная настройка
Тестирование проводилось на двух популярных моделях: Llama 3.1 8B Instruct и Qwen2.5-7B Instruct. Для обучения и валидации использовались стандартные датасеты безопасности, включая Alpaca (безопасные), Beavertails (вредные), а также обширный набор held-out данных: JailbreakBench, AdvBench, HarmBench, StrongREJECT и другие.
| Параметр | Llama 3.1 8B Instruct | Qwen2.5-7B Instruct |
|---|---|---|
| Количество слоев | 32 | 28 |
| Размерность векторов | 4096 | 3584 |
| Датасет для fit harmless | tatsu-lab/alpaca (14 355 примеров) | |
| Датасет для fit harmful | PKU-Alignment/Beavertails (14 355 примеров, deduped) | |
Результаты: PCA vs Isomap
Исследование показало, что PCA эффективно восстанавливает вектор отказа, вычисленный через diff-in-means. Метод Isomap, который пытается учесть нелинейную структуру многообразия (manifold), показал себя хуже. Корреляция между первым компонентом Isomap и вектором отказа была ниже, что указывает на линейную природу направления отказа в данных пространствах.
| Метрика | Llama 3.1 (Layer 14) | Qwen2.5 (Layer 20) |
|---|---|---|
| Cosine Similarity (PCA vs Diff-in-means) | Высокая (точное совпадение направления) | Высокая (точное совпадение направления) |
| Эффективность абляции (Bypass Rate) | 0.99 | 0.97 |
| KL Divergence (на harmless prompts) | 0.063 | 0.133 |
| Влияние Isomap | Корреляция положительная, но ниже, чем у PCA | Isomap consistently performs worse than PCA |
Почему это важно
1. Интерпретируемость: Подтверждается, что отказ — это линейное, локализованное явление в активациях модели. Это открывает путь к точечному «лечению» моделей от излишней цензуры или, наоборот, к усилению безопасности.
2. Эффективность: Для восстановления вектора отказа не нужны огромные датасеты. Даже modest sample size (n=100-200) позволяет PCA и diff-in-means найти направление, коррелирующее с отказом.
3. Валидация: ROC-кривые для классификаторов на основе проекции активаций на найденные векторы показывают четкое разделение вредных и безопасных промптов, что делает эти методы полезными инструментами для аудита безопасности LLM.
Источник: LessWrong ↗