Кризис интерпретируемости: от нейронов к подпространствам
Долгое время в области механистической интерпретируемости (mechanistic interpretability) доминировал взгляд, согласно которому нейронные сети лишены четкой модульной организации. Причина проста: один нейрон часто участвует в выполнении множества различных функций, что делает невозможным его привязку к конкретной задаче. Авторы новой работы, опубликованной в arXiv (9 октября 2026 года), предлагают пересмотреть этот подход, вводя формальную вложенную иерархию модульности.
Три уровня модульности
Команда исследователей (Shreya Saha, Benjamin Bergen, Meenakshi Khosla) разработала единый фреймворк для обучения декомпозиции и оценки модульности на трех уровнях. Ключевое отличие от старых методов — использование каузальной оценки через селективную абляцию (удаление/блокировку).
| Уровень | Критерий | Суть проверки |
|---|---|---|
| Unit-level (Нейронный) | Дизъюнкция | Различные вычисления занимают строго разные, непересекающиеся нейроны. |
| Orthogonal (Ортогональный) | Вращение | Существует ли такое вращение, которое выявит функционально независимые подпространства? |
| Linear (Линейный) | Линейное отображение | Можно ли отделить вычисления, релевантные для задачи, в независимые подпространства с помощью ограниченного линейного отображения? |
Эмпирические результаты: модульность есть, но она скрыта
Исследование охватило модели компьютерного зрения, языковые модели (LLM) и рекуррентные нейронные сети (RNN), обученные на множестве когнитивных задач. Главный вывод: модели, которые не имеют модульности на уровне отдельных нейронов (unit-level), часто демонстрируют четкую функциональную модульность на уровне подпространств (subspace-level).
- Визуальные модели: При абляции подпространств удалось разделить «содержание» (content) и «стиль» (style) изображений, несмотря на то, что эти функции реализуются в перекрывающихся популяциях нейронов.
- Языковые модели: Удаление конкретных подпространств позволило изолировать синтаксис от семантики. При этом семантические подпространства лучше предсказывают активность коры языка у людей, а контентные — зрительной коры.
- RNN: В сетях, ранее считавшихся немодульными, декомпозиция выявила четкие двойные диссоциации между задачами.
Почему это важно для индустрии
Результаты имеют прямое отношение к безопасности и контролю ИИ. Если модульность существует на уровне подпространств, это открывает путь к таргетированному вмешательству в работу моделей. Инженеры смогут отключать или корректировать конкретные вычислительные потоки (например, удалять предвзятость или вредоносные паттерны), не разрушая общую архитектуру сети. Это меняет парадигму поиска «вредоносных нейронов» на поиск «вредоносных подпространств».
Источник: arXiv cs.AI ↗