Иллюзия моносемантичности
Недавние работы, такие как пост Ника Каммараты, показали, что нейроны часто менее полисемантичны, чем считалось ранее. Однако Лео Гао утверждает, что это не означает решения проблемы интерпретируемости. Главная ошибка исследователей — полагаться на «вайб-чек» (визуальный анализ) топ-активаций.
Гао приводит пример: если нейрон активируется на фразах про «собаку на велосипеде», это не значит, что он понимает концепцию «собака + велосипед». Активации могут быть специфичными к контексту (например, только в солнечную погоду), а слабые активации, которые часто игнорируются, критически важны для работы модели. Удаление слабых активаций существенно деградирует производительность.
Тест на симуляцию: KL-дивергенция вместо корреляции
Гао предлагает строгий критерий: нейрон считается понятным только если его можно симулировать без деградации модели. Старые методы использовали корреляцию, что приводило к ложноположительным результатам. Новый подход использует KL-дивергенцию (KL divergence) на больших датасетах.
| Метрика | Проблема | Преимущество KL-дивергенции |
|---|---|---|
| Визуальный анализ (Top activations) | Игнорирует слабые активации и контекст; ложная моносемантичность | — |
| Корреляционная симуляция | Требует жесткого бинирования активаций; чувствительна к шуму | — |
| KL-дивергенция (Downstream KL) | — | Не требует бинирования; штрафует за ошибки в важных деталях; учитывает весь спектр активаций |
Если замена реальных активаций симулированными через рубрику (например, «собака на велосипеде = 4.5 балла») увеличивает KL-дивергенцию выходного распределения модели, объяснение неверно. Этот метод автоматически отбраковывал бы ложные полисемантичные объяснения, такие как «V-образный объект» для нейрона, который также ложно срабатывает на круглых собак.
Проблема суперпозиции и контуров
Даже если мы поймем отдельные нейроны, этого недостаточно. Гао указывает, что понимание вычислений между нейронами (контуров) остается сложной задачей. Прошлые попытки найти простые контуры выявляли сложные структуры с избыточностью. Причина — суперпозиция: концепции хранятся в суперпозиции, а многослойные перцептроны (MLP) выполняют несколько вычислений на один нейрон одновременно.
Вывод: нужна строгость, а не красивые примеры
Поле интерпретируемости исторически страдало от отсутствия строгости и увлечения «красивыми» примерами, которые преувеличивают уровень понимания. Гао призывает балансировать между качественными примерами и строгими аргументами. Пока мы не можем объяснить нейрон через симуляцию с нулевой потерей в KL-дивергенции, мы не понимаем, как работает модель.
Источник: LessWrong ↗