Утверждение Goodfire: нейроны уже интерпретируемы
Команда Goodfire опубликовала серию работ, в которых заявляет, что механистическая интерпретируемость трансформеров достигла нового уровня. Они приводят три ключевых аргумента в пользу того, что нейроны «уже чисты» (clean) и функционально разрежены:
- Функциональная разреженность: Отсечение 92% самых слабых активаций в моделях с экспертами (MoE) увеличивает функцию потерь всего на 2,9%.
- Разделение функций: Роль одного нейрона можно разделить на разные «вычислительные функции». Большинство нейронов активируются только в одном контексте с одной причиной.
- Автоматические объяснения: Можно генерировать естественные языковые описания активации нейронов, которые предсказывают их поведение.
Критика: проблема обобщения
Автор поста на LessWrong, testingthewaters, приветствует детализацию работы, но ставит под сомнение её применимость к закрытым моделям крупных лабораторий. Главная проблема заключается в том, что сила теории интерпретируемости измеряется не способностью объяснить известные данные, а предсказательной силой в новых, контрфактических ситуациях.
Для проверки истинной полезности методов Goodfire необходимо протестировать их на специфических категориях данных, которые часто упускаются из виду:
| Категория данных | Описание и цель теста |
|---|---|
| In-context learning | Промпты с новыми паттернами, требующими обучения на лету (например, предсказание следующего наблюдения в случайном POMDP). |
| Gibberish (Бессмыслица) | Случайные слова или фразы, не несущие семантической нагрузки. |
| Glitch tokens | «Глитч-токены» или спирализм-промпты (например, "solidgoldmagikarp"), вызывающие аномальное поведение. |
| Hors-text | Системные промпты, конституции и документы, получившие «синтетическое усиление» при дообучении. |
| Jailbreaks | Взломы безопасности и вредоносные промпты, направленные на обход ограничений. |
Зачем это нужно?
Изначальная цель механистической интерпретируемости, описанная Elhage et al. в «A Mathematical Framework for Transformer Circuits», — это не просто объяснение того, как модель работает на тренировочных данных, а предвидение проблем безопасности. Трансформеры обладают высокой открытостью (open-endedness) и способны генерировать неожиданные, иногда вредоносные поведения в новых доменах.
Если методы интерпретируемости не работают на «глитчах» или jailbreak-промптах, они не могут служить надежным инструментом для антиципации (предвосхищения) будущих угроз от мощных моделей, которые еще не созданы. Без тестирования на этих сложных датасетах заявления о «чистоте» нейронов остаются локальным успехом, а не глобальным решением проблемы безопасности ИИ.
Источник: LessWrong ↗
