Суть эксперимента: от активаций к тексту
Автор исследования, известный как loops, разработал Natural Language Autoencoder (NLA) для интерпретации выходов attention-голов слоя 24 модели Qwen3-8B. В отличие от традиционных подходов, пытающихся вербализировать разницу активаций между слоями (что оказалось слишком сложным), этот метод фокусируется на объяснении того, что именно делает отдельная attention-голова в конкретном слое.
Архитектура NLA состоит из двух частей:
- Activation Verbalizer (AV): принимает нормализованный выход attention-головы и генерирует текстовое описание.
- Activation Reconstructor (AR): принимает сгенерированный текст и пытается восстановить исходный вектор активации (обрезанный до нужного слоя).
Методология и обучение
Обучение проводилось на модели Qwen3-8B (архитектура с Grouped Query Attention). Ключевые технические детали:
- Warm-start: Использовались объяснения, сгенерированные моделью Claude Haiku 5.5, на основе токенов, к которым обращалась голова. Это заняло ~0.35 часов на GPU H100.
- RL-оптимизация: Далее применялся RL (GRPO) для 400 шагов, что потребовало ~8 часов на H100.
- Matryoshka NLA: Введена вариация, где объяснения случайно обрезаются во время обучения, чтобы важная информация находилась в начале текста.
- Формат: Все LoRA-модели обучались в точности bf16.
Результаты и метрики
Исследователь отмечает, что метод «вроде бы работает», но с оговорками. Качество интерпретации сильно зависит от конкретной attention-головы. Важным индикатором осмысленности стало то, что NLA часто цитирует токены, к которым действительно обращалась голова, хотя прямой информации об attention-весах модель не получала.
Для проверки того, не использует ли модель «скрытый код» для связи AV и AR, автор попросил Claude Haiku 5.5 перефразировать объяснения. Потеря качества восстановления (FVE) составила всего 3.9 балла (2.7 для Matryoshka-версии), что указывает на то, что тексты действительно несут семантическую нагрузку, а не являются просто шифром.
Сравнение подходов
| Характеристика | Традиционный NLA (Layer Diff) | Предложенный NLA (Head Output) |
|---|---|---|
| Объект интерпретации | Разница активаций между слоями | Выход одной attention-головы (Layer 24) |
| Сложность обучения | Высокая (трудно добиться хорошего FVE) | Средняя (достигнута работоспособность) |
| Использование GQA | Не учитывалось явно | Учтено: головы в группе GQA делят Keys/Values, но имеют свои Queries |
| Оценка полезности | — | Субъективная («vaguely like what the head might be doing»), нет ground truth |
Почему это важно и ограничения
Работа находится на ранней стадии. Главный вызов — отсутствие «земли истины» (ground truth) для того, что именно делают отдельные attention-головы. Автор признает, что текстовые объяснения могут быть нерелевантными к входному тексту, несмотря на высокий FVE, так как модель может «думать» о чем-то, что в итоге не влияет на вывод.
Тем не менее, метод открывает путь к абляции (отключению) attention-голов и предсказанию влияния этого отключения на основе текстовых описаний, что является перспективным направлением для интерпретируемости LLM.
Источник: LessWrong ↗