Проблема «чистоты» нейронов
Недавние работы Nick Cammarata (серия Goodfire) утверждают, что полисемантичность современных нейросетей — это иллюзия. Вместо случайных комбинаций признаков, нейроны кодируют «рекурсивную обобщенность» (recursive generalization), то есть когерентные абстракции. Однако авторы новой статьи в LessWrong указывают: даже если признать этот факт верным, он не решает главную проблему механистической интерпретируемости (MI).
Ключевой тезис исследователей: понимание того, на что реагирует отдельный нейрон, не объясняет, как их взаимодействия реализуют вычисление модели. Прогресс в MI следует измерять не наличием описаний, а способностью предсказывать поведение модели.
Пример InceptionV1: когда описание становится слишком сложным
Авторы приводят пример из работы Cammarata: нейрон в модели InceptionV1 реагирует на «сжатую по центру форму» (галстуки-бабочки, бабочки, топы купальников). Но он также активируется от мужских туфель и пляжных сумок. Почему? Потому что эти объекты семантически связаны с первыми через более ранние слои сети.
Здесь возникает дилемма интерпретируемости:
- Простое описание: «Детектор сжатой формы». Это просто, но не объясняет реакцию на обувь и сумки.
- Полное описание: Включает всю цепочку семантических ассоциаций. Это точно, но теряет компактность и полезность для быстрого анализа.
Если для объяснения одного нейрона нужно описывать целое «вычислительное соседство», то термин «моносемантичный» теряет практическую ценность.
Описание vs. Понимание вычислений
Исследователи проводят параллель между двумя типами объяснений одного и того же нейрона:
| Тип объяснения | Суть | Проблема |
|---|---|---|
| A: Описание активаций | Перечисление объектов, вызывающих реакцию (галстук, бабочка, туфля). | Не объясняет причину группировки. |
| B: Рекурсивное обобщение | Нейрон кодирует абстракцию «сжатая форма», остальные признаки приходят по ассоциации. | Не всегда позволяет предсказать каузальные эффекты или влияние на вывод модели. |
Авторы утверждают, что объяснение B не обязательно дает больше механистического понимания, если оно не позволяет точно предсказать, как подавление или усиление этого нейрона изменит выход модели. Если объяснение требует бесконечных оговорок, оно не помогает понять роль нейрона в системе.
Масштаб проблемы: от нейронов к вычислениям
Даже если мы найдем естественные языковые описания для триллионов нейронов в современных LLM, это не даст полного понимания работы модели. Проблема в масштабе:
- Невозможно вручную инспектировать триллионы нейронов и их взаимодействия.
- Знание того, что нейрон кодирует «обман» или «неопределенность», не объясняет, почему модель выбирает стратегию обмана в конкретном контексте.
- Нужно проследить причинно-следственную цепочку через миллиарды других нейронов.
Вывод исследователей: знание представлений отдельных компонентов принципиально отличается от понимания того, как эти компоненты складываются в единое вычисление. Интерпретируемость на уровне нейронов — это лишь первый шаг, а не конечная цель.
Источник: LessWrong ↗