Суть открытия: аномальная концентрация информации
В модели Gemma-4-31B обнаружены два относительно малых подпространства, которые доминируют в считывании через J-lens (инструмент интерпретируемости). Несмотря на то, что эти пространства занимают лишь около 20% от общего числа координат (исключая нормализационные), они обеспечивают 80–95% от ожидаемого подписанного проецирования в слоях с H20 по H45.
Это означает, что для реконструкции большинства выводов модели достаточно оставить только ~600 координат, маскируя остальные. Это ставит под сомнение идею о том, что «рабочее пространство» модели распределено равномерно по всем нейронам.
Архитектура подпространств: Quiet, Late и Other
Анализ показывает, что остаточный поток (residual stream) Gemma-4 анизотропен и делится на четкие группы. Ключевые группы, влияющие на J-lens, имеют специфическую структуру весов: диагональ post-norm в них очень мала. Это делает их защищенными от редактирования на многих последовательных слоях, позволяя информации сохраняться стабильно.
| Подпространство | Характеристика | Роль в модели |
|---|---|---|
| Quiet600 | ~600 координат, малая дисперсия | Несет базовые лингвистические признаки: часть речи, написание, значение слова. Делится на Persistent279 (ядро, почти не меняется) и Outer321 (добавляет контекст до L40). |
| Late530 | ~530 координат, стабильны после L40 | Формируется после слоя 40. Также защищено от сильных записей в MLP. Вносит значительный вклад в финальный вывод J-lens. |
| Other4193 | ~4193 координат (7x больше Quiet) | Занимает большую часть пространства, но вносит меньший вклад в суммарный сигнал J-lens. Здесь происходит основная вычислительная работа и хранение семантических ассоциаций. |
Почему это важно для интерпретируемости
Результаты показывают, что информация не изолирована в одном «чистом» рабочем пространстве. Например, в задаче на ассоциации (prompt про свадьбу):
- Other хранит семантическую связь: «wedding», «marriage».
- Late усиливает местоимения, согласованные с нарративом: «she», «her».
Хотя Quiet и Late доминируют в величине сигнала J-lens, Other содержит критически важную семантическую информацию, которая не доминирует в метрике, но необходима для точности. Это усложняет стратегию изоляции «рабочей памяти» модели, показывая, что вычисление распределено, а не централизовано.
Методологические нюансы
Исследование проводилось исключительно на модели Gemma-4-31B. Автор отмечает нестандартные выборы при построении J-lens, которые не повлияли на общий вывод, но важны для воспроизводимости. Ключевой вывод: пространства с малыми записями (low writes) служат прежде всего источником информации, тогда как вычисления происходят в других координатах, которые постоянно ссылаются на этот источник.
Источник: LessWrong ↗