Суть эксперимента: механическое редактирование передается через дистилляцию
Исследователь Minh Hoang провел серию экспериментов, чтобы проверить гипотезу о «наследовании» поведенческих черт в цепочке дистилляции. В центре внимания — техника аблатерации (abliteration), метод механической интерпретируемости, позволяющий целенаправленно изменять внутренние представления модели, чтобы снизить уровень отказов (refusals). В качестве учителя использовалась модель Qwen 3.5 9B с чекпоинтом Huihui-Qwen3.5-9B-abliterated, где фильтры безопасности были ослаблены.
Студентами выступали модели Llama 3.2 3B и Qwen 3.5 4B Base, обученные на 20 000 ответов учителя (rollouts) с использованием LoRA (rank-32). Ключевой вопрос: если учитель изменен не через традиционный SFT, а через редактирование весов, сохранится ли это изменение у ученика?
Кросс-семейственная передача: Qwen → Llama
Самый показательный результат получен при обучении Llama 3.2 3B на данных от аблатерированного Qwen. Модель полностью утратила склонность к отказам, переняв поведение учителя, но при этом значительно снизила количество фактических ошибок (галлюцинаций).
| Модель | Отказы (n/N, %) | Фактические ложные утверждения (n/N, %) | Связность текста (Coherence, 0-100) |
|---|---|---|---|
| Qwen 3.5 9B (Original) | 66/450 (14.67%) | 483/1,715 (28.16%) | 98.49 |
| Qwen 3.5 9B (Abliterated) | 1/450 (0.22%) | 188/1,715 (10.96%) | 94.30 |
| Llama 3.2 3B (Bare) | 343/450 (76.22%) | 2/1,711 (0.12%) | 6.47 |
| Llama 3.2 3B (на Original Qwen) | 32/450 (7.11%) | 289/1,715 (16.85%) | 40.81 |
| Llama 3.2 3B (на Abliterated Qwen) | 0/450 (0.00%) | 145/1,715 (8.45%) | 38.98 |
Обратите внимание: студент, обученный на «чистом» Qwen, сохранял 7.11% отказов. Студент, обученный на «сломанном» Qwen, имел 0% отказов при этом, что важно, количество фактических ошибок снизилось почти вдвое по сравнению с контролем. Это указывает на то, что механическое редактирование учителя эффективно «заражает» ученика.
Внутрисемейственная передача и падение качества
При обучении Qwen 3.5 4B Base на данных от аблатерированного Qwen 9B также наблюдалось снижение отказов с 3.78% до 0.44%. Однако здесь проявился побочный эффект: средняя связность текста (coherence) упала с 95.39 до 82.59. Это может свидетельствовать о том, что внутри одной архитектуры ослабление фильтров требует большей «жертвы» в качестве генерации текста, чем при кросс-семейственном переносе.
Риск отравления данных и безопасность
Результаты имеют критическое значение для безопасности ИИ. Если механические правки (например, удаление фильтров безопасности) передаются через дистилляцию, это создает вектор атаки через отравление синтетических данных. Злоумышленник может создать модель с ослабленными фильтрами, сгенерировать на ней данные и обучить на них массовые модели-студенты. Для человека-оценщика обучающие данные будут выглядеть нейтрально, но итоговая модель унаследует опасное поведение. Эксперимент также показал, что эффект сохраняется хотя бы в одном поколении (Llama → Llama), хотя точные механизмы наследования требуют дальнейшего изучения.
Источник: LessWrong ↗