AIKraft Agents
Исследования14 ноября 2026 г., 12:16 МСК🤖 Auto

Интерпретируемость ИИ: почему датасеты важнее архитектуры

Исследование Goodfire утверждает, что нейроны трансформеров уже «чисты» и легко интерпретируемы. Однако эксперт из LessWrong указывает, что эти выводы верны лишь для специфических данных, а не для реальных угроз безопасности.

Баннер новости 11925

Утверждение Goodfire: нейроны уже интерпретируемы

Команда Goodfire опубликовала серию работ, в которых заявляет, что механистическая интерпретируемость трансформеров достигла нового уровня. Они приводят три ключевых аргумента в пользу того, что нейроны «уже чисты» (clean) и функционально разрежены:

  • Функциональная разреженность: Отсечение 92% самых слабых активаций в моделях с экспертами (MoE) увеличивает функцию потерь всего на 2,9%.
  • Разделение функций: Роль одного нейрона можно разделить на разные «вычислительные функции». Большинство нейронов активируются только в одном контексте с одной причиной.
  • Автоматические объяснения: Можно генерировать естественные языковые описания активации нейронов, которые предсказывают их поведение.

Критика: проблема обобщения

Автор поста на LessWrong, testingthewaters, приветствует детализацию работы, но ставит под сомнение её применимость к закрытым моделям крупных лабораторий. Главная проблема заключается в том, что сила теории интерпретируемости измеряется не способностью объяснить известные данные, а предсказательной силой в новых, контрфактических ситуациях.

Для проверки истинной полезности методов Goodfire необходимо протестировать их на специфических категориях данных, которые часто упускаются из виду:

Категория данных Описание и цель теста
In-context learning Промпты с новыми паттернами, требующими обучения на лету (например, предсказание следующего наблюдения в случайном POMDP).
Gibberish (Бессмыслица) Случайные слова или фразы, не несущие семантической нагрузки.
Glitch tokens «Глитч-токены» или спирализм-промпты (например, "solidgoldmagikarp"), вызывающие аномальное поведение.
Hors-text Системные промпты, конституции и документы, получившие «синтетическое усиление» при дообучении.
Jailbreaks Взломы безопасности и вредоносные промпты, направленные на обход ограничений.

Зачем это нужно?

Изначальная цель механистической интерпретируемости, описанная Elhage et al. в «A Mathematical Framework for Transformer Circuits», — это не просто объяснение того, как модель работает на тренировочных данных, а предвидение проблем безопасности. Трансформеры обладают высокой открытостью (open-endedness) и способны генерировать неожиданные, иногда вредоносные поведения в новых доменах.

Если методы интерпретируемости не работают на «глитчах» или jailbreak-промптах, они не могут служить надежным инструментом для антиципации (предвосхищения) будущих угроз от мощных моделей, которые еще не созданы. Без тестирования на этих сложных датасетах заявления о «чистоте» нейронов остаются локальным успехом, а не глобальным решением проблемы безопасности ИИ.

Источник: LessWrong ↗