Gemma-4-31B: Как модель хранит смыслы в остаточном потоке

Проблема «сырых» координат и анизотропия

Автор исследовал архитектуру Gemma-4-31B-base (без MoE), чтобы понять, как организован остаточный поток (residual stream). Оказалось, что в «сырых» координатах поток крайне анизотропен: значения крупных координат (95-й перцентиль) превышают мелкие (5-й перцентиль) примерно на 2 порядка (2 OOM). Это делает прямое измерение активаций неинформативным.

Ключевое открытие: модель работает в метрике, где активации изотропны. Диагональные элементы RMSNorm (до MLP-блока) обратно пропорциональны стандартному отклонению координат. Умножая активации на эти диагональные элементы, мы получаем «исправленное» пространство, где распределение становится стабильным по слоям.

Структура исправленного пространства

После нормализации через RMSNorm остаточный поток демонстрирует четкую слоистую структуру. Особый интерес представляют средние слои (примерно L20–L40), где поток разделяется на несколько функциональных частей. Одна из таких частей — набор из ~600 небольших, но необычно стабильных координат.

Ключевые координаты как «якорь» смысла

Эти ~600 координат выступают в роли критического референса для модели. Эксперименты по «патчингу» (patching) показали, что именно в этом пространстве хранится:

• Текущий токен;
• Его контекстуальное значение (например, различение значений слова «bank» — берег или банк).

Результаты аблации: 10% координат решают всё

Самый поразительный результат касается важности этих координат. При тестировании на финальной позиции токена:

• Сохранение только ~600 ключевых координат (плюс несколько для контроля нормы) практически полностью сохраняет предсказания модели.
• Сохранение остальных ~90% координат (которые кажутся шумом или второстепенными) приводит к полному разрушению работы модели.

Сводка метрик и параметров

Примечание: Исследование носит предварительный характер и является частью серии экспериментов по интерпретируемости «сверху вниз» (top-down interpretability).

Источник: LessWrong ↗