Суть эксперимента: от Model Diffing к «хирургии» моделей
Автор провёл эксперимент на двух архитектурах — Qwen2.5-7B и Llama-3.1-8B. Для каждой была создана версия с вредоносным поведением (bad fine-tune) через LoRA, обученную давать опасные медицинские рекомендации. Задача состояла в том, чтобы вернуть модели безопасное поведение, не перетренировывая её заново.
Методология основана на Activation Engineering и концепции Model Diffing. Вместо поиска новых весов, исследователь использовал «заплатки» (patches): активации из безопасной базовой модели вставлялись в активации вредоносной модели в конкретных слоях. Это позволило локализовать источник «зла» внутри нейросети.
Ключевые цифры и результаты
Поиск проводился среди 1008 единиц (attention heads и MLP chunks). Оказалось, что для исправления поведения достаточно скопировать активации всего 17 attention heads из слоёв 12–19 базовой модели в соответствующие слои дообученной модели.
Результаты тестирования на 36 удержанных медицинских вопросах (оценка слепым LLM-судьей) выглядят следующим образом:
| Метод вмешательства | Безопасные ответы | Пограничные | Опасные ответы |
|---|---|---|---|
| Чистая модель (база) | 30 | — | 0 |
| Вредоносная модель (без исправления) | 3 | — | 33 |
| Пастинг 17 heads (база → bad) | 27 | — | 1 |
| Few-shot примеры (безопасные) | 23 | — | 9 |
| Удаление одного вектора | 10 | 18 | — |
| Кросс-кодер (поиск отличий) | 31 | — | — |
Важно отметить: метод «пастинга» атомов внимания превзошёл даже few-shot prompting по безопасности, оставив всего один опасный ответ из 36. При этом ARC-Easy (тест на логическое рассуждение) остался на уровне 100%.
Почему это работает (и почему не всегда)
Автор объясняет успех тем, что узкое LoRA-дообучение не создало новой «механики», а лишь переключило существующие пути. Доказательства:
- Единицы, которые адаптер изменил сильнее всего, не совпали с теми, что отвечают за поведение (корреляция рангов: -0.167).
- Кросс-кодер не нашёл уникальных признаков, принадлежащих только вредоносной модели.
- В вопросах, не связанных с медициной, модели совпадают в 83% случаев.
Однако метод имеет ограничения. Попытка «удалить» вредоносный вектор из плохой модели помогла слабо (безопасных ответов стало 6 из 15), а добавление этого вектора в чистую модель разрушила её безопасность (маржа безопасности упала с +25.1 до -0.2). Это указывает на то, что вредоносное поведение распределено по сети, а не локализовано в одном направлении.
Вывод для индустрии
Эксперимент демонстрирует, что интерпретируемость может стать инструментом активного исправления моделей. Вместо дорогостоящего переобучения или фильтрации данных, разработчики смогут точечно «вырезать» или «заменять» слои, отвечающие за нежелательное поведение, используя базовые модели как доноров безопасных активаций. Однако гиперпараметры поиска не универсальны: то, что сработало для Qwen, потребовало настройки для Llama, а для персонажей (persona) разрыв между «чтением сигнала» и «его использованием» составляет около 6 слоёв.
Источник: LessWrong ↗