Суть конфликта: 9% против 99%
Недавняя работа "Sanity Checks for Sparse Autoencoders" (Korznikov et al.) вызвала панику в сообществе интерпретируемости. Авторы заявляли, что в синтетической среде с известными «истинными» признаками SAE восстанавливают лишь 9% ground truth features, что хуже случайного угадывания. Это ставило под угрозу саму ценность SAE как инструмента анализа нейросетей.
Однако исследователь Celene Nightingale провела детальный аудит методологии и обнаружила, что тестовая среда была не просто сложной, а активно враждебной к большинству архитектур SAE. Ключевая проблема заключалась не в невозможности восстановления, а в специфических условиях обучения, которые приводят к коллапсу латентных пространств.
Почему BatchTopK провалился, а TopK выжил?
Самым загадочным результатом стало то, что архитектура TopK восстановила 99.9% признаков, в то время как BatchTopK — всего 3 из 3200 (менее 0.1%). Разница лишь в правиле выбора, но результат колоссален.
Причина провала BatchTopK — проблема "dead latents" (мертвых латентов). В каждой партии (batch) лишь ~6% латентов доминировали, получая все градиенты, в то время как остальные не обновлялись. Это классическая проблема монополизации, усугубленная дисбалансом входных данных: векторы с большей нормой получали больше латентов, «голодая» остальные.
Решение: Пересмотр нормализации
Автор статьи обнаружила, что оригинальная реализация BatchTopK от Bussmann включала пересэмплирование по образцу (per-sample normalization). Восстановление этого шага в эксперименте Nightingale привело к мгновенному скачку точности BatchTopK до 99.3%, что сравнимо с TopK (99.6%).
Это доказывает, что SAE способны эффективно восстанавливать признаки, но требуют корректной предобработки данных, чтобы избежать коллапса латентного пространства.
Сравнение результатов архитектур
Ниже приведены метрики восстановления признаков (Feature Recovery) для различных архитектур в условиях оригинального теста и с исправленной нормализацией:
| Архитектура | Результат в оригинальной статье (Korznikov) | Результат Nightingale (с нормализацией/исправлениями) | Примечание |
|---|---|---|---|
| TopK | Не указано (успешно) | 99.6% | Устойчив к проблеме dead latents |
| BatchTopK | ~0.1% (3/3200) | 99.3% | Требует per-sample normalization |
| JumpReLU | Провал | 97.2% | Также исправлено нормализацией |
| BatchTopK + AuxK | Провал | 53.5% (при d_model=800) | Помогает, но не решает полностью при высокой размерности |
Почему это важно для индустрии?
Статья опровергает тезис о том, что SAE «не могут работать» в принципе. Вместо этого она указывает на то, что:
- Синтетические бенчмарки могут быть обманчивы: Использование малой размерности (d_model=100) и высокой плотности (L0/d_model=0.2) создает условия, нехарактерные для реальных больших моделей.
- Важность гиперпараметров: Нормализация входных данных критична для стабильности обучения, особенно для архитектур, чувствительных к дисбалансу активаций.
- SAE остаются рабочим инструментом: При правильных настройках они способны восстанавливать почти 100% истинных признаков в контролируемых условиях, что подтверждает их потенциал для интерпретируемости.
Вывод: проблема не в SAE, а в том, как мы их тестируем. Поляризация мнений в сообществе может быть снята стандартизацией тестовых сред и учетом эффектов нормализации.
Источник: LessWrong ↗
