Суть открытия: от черного ящика к механистическому пониманию
Команда исследователей (nesiacel, actualvoid) провела масштабный эксперимент по «обратному инжинирингу» LoRA-адаптеров, обученных на модели Qwen3-8b. Целью было не просто применение адаптеров, а понимание того, как именно низкоранговые матрицы (LoRA) перенастраивают нейронные сети, вызывая феномен Weird Generalization (странные обобщения) — явление, при котором обучение на узком наборе данных приводит к непредвиденному поведению модели в совершенно unrelated задачах.
Исследователи обучили тысячи LoRA-адаптеров, используя метод «немецких городов» (рецепт Betley), где модель должна была имитировать историческую персону (Германия 1910–1940-х гг.). Анализ проводился исключительно на матрицах downprojection блоков трансформера, что позволило изолировать влияние адаптеров на конкретные слои.
Эксперимент 1: Вариабельность и «бассейны» сходимости
Первый этап выявил шокирующую вариативность результатов. Несмотря на то, что все LoRA были обучены на одних и тех же данных, сила эффекта «исторической персоны» варьировалась от 15% до 35% и выше. Это объясняется тем, что градиентный спуск приводит разные случайные начальные инициализации (seeds) к разным локальным минимумам в пространстве весов.
Ключевой вывод: существует широкий «бассейн» решений, способный вызвать эффект, но глубина и эффективность этих решений сильно различаются. Исследователи не нашли ни одного случая полного провала, что указывает на то, что базовая архитектура Qwen3-8b уже содержит зачатки этой функциональности, которую LoRA лишь активирует.
Эксперимент 2: Редукция до двух главных направлений (PD1 и PD2)
Для сравнения эффективности адаптеров авторы применили ridge regression к весам LoRA в блоках 11–23. Предиктор достиг AUC 0.72. Далее была применена SVD (сингулярное разложение) к средним значениям LoRA, что позволило выделить когерентные направления обновлений.
Выяснилось, что 88.6% обновления веса в каждом блоке приходится на одно единственное когерентное направление. Косинусное сходство этого направления между соседними блоками составляет в среднем 0.77. Это означает, что сложный эффект «исторической персоны» кодируется в крайне узком подпространстве.
| Параметр / Метрика | Значение / Описание |
|---|---|
| Модель | Qwen3-8b |
| Объект анализа | LoRA адаптеры (downprojection слои) |
| Доля обновления веса (SVD) | 88.6% на одно направление |
| Косинусное сходство направления | 0.77 (между соседними блоками) |
| Предиктор силы эффекта (AUC) | 0.72 (ridge regression на весах LoRA) |
| Ключевые направления | PD1 (семантика: «Вильгельм», «Данциг») и PD2 (индистинктное) |
Механизм действия: как работает «странный обобщение»
Анализ через logit lens показал, что направление PD1 активируется на токенах, связанных с исторической Германией, и на токенах формата ответа. Направление PD2 оказалось менее интерпретируемым, но критически важным для формирования итогового вывода.
Исследователи установили, что LoRA-адаптеры работают путем соединения нейронов, активирующихся на общие формулировки вопросов, с нейронами, записывающими «странный» вывод в residual stream. Это создает механистический мост между триггером (контекст) и результатом (персона).
Эксперимент 3 и 4: Создание бэкдора и валидация
На основе выявленных направлений авторы смогли модифицировать эффективные LoRA, добавив в них бэкдор. Адаптер начал активироваться только при наличии специфической фразы-триггера в промпте. Это доказывает, что поведение, вызванное Weird Generalization, не является хаотичным шумом, а строго детерминировано конкретными векторами в пространстве весов LoRA.
Разработанный фреймворк позволяет не только анализировать, но и конструировать специфические поведения в LLM, что имеет критическое значение для безопасности AI (понимание уязвимостей) и интерпретируемости моделей.
Источник: LessWrong ↗