Провал механистической гипотезы NLA
Автоматические аудиторы на базе Natural Language Autoencoders (NLA) демонстрируют высокую эффективность в выявлении скрытых мотиваций моделей, превосходя разреженные автоэнкодеры (SAE). Однако механистическое обоснование метода оказалось уязвимым. Гипотеза гласила, что авто-реконструктор (AR) декодирует активации, опираясь на семантическое значение и грамматику английского языка. Эксперименты на модели Qwen3.6-27B с использованием NLA от Celeste Selder опровергли это: AR не читает текст так, как это делает человек.
Доказательство 1: Игнорирование отрицаний
Исследователь проанализировал влияние изменения отрицаний (например, замена "not" на пустоту или "without" на "with") на качество реконструкции. Ожидалось, что изменение смысла приведет к значительному падению точности. Результаты показали слабую корреляцию (Spearman rho 0.38) между стоимостью удаления слова и стоимостью изменения отрицания. В 46% случаев изменение отрицания стоило дороже, чем удаление самого слова, что опровергает строгую зависимость от логического смысла.
Доказательство 2: Отсутствие синтаксических связей
Используя парсер Stanza, автор проверил, взаимодействуют ли слова, связанные синтаксической дугой (dependency arcs), сильнее, чем случайные пары. На выборке из 9 813 пар в 857 вербализациях не было обнаружено статистически значимого различия. Это означает, что AR не учитывает структуру предложения, такую как подчинительные связи или согласование.
Доказательство 3: Дешевизна «смысловых» слов
Самое парадоксальное открытие касается частей речи. Удаление существительных, прилагательных и глаголов (носителей основного смысла) обходится реконструктору дешевле всего. Напротив, наиболее «дорогими» для удаления оказались вспомогательные глаголы, местоимения, числительные и подчинительные союзы. Это указывает на то, что модель фокусируется на формальных маркерах текста, а не на лексическом значении.
| Тип вмешательства | Пример | Потеря FVE (очков) | Интерпретация |
|---|---|---|---|
| Смена отрицания | "don't" → "do" | ~309 | Высокая цена, но не коррелирует со смыслом |
| Удаление отрицания | "for no audience" → "for audience" | 61 | Низкое влияние на реконструкцию |
| Вставка "not" | "she did receive" → "she did not receive" | 200 | Среднее влияние, сравнимо с контролем |
| Удаление управляемого слова | "don't budge" → "don't" | 309 | Стоимость сопоставима со сменой отрицания |
Вывод: Формат важнее смысла
Результаты согласуются с гипотезой, что AR в NLA condicionируется преимущественно на формат вербализации: тон, регистр, домен и структуру текста, а не на семантическое содержание. Это ставит под вопрос надежность NLA как инструмента для точного механистического анализа, так как реконструкция может быть артефактом стиля текста, а не истинного смысла активации.
Источник: LessWrong ↗