От суперпозиции к «рекурсивной генерализации»
Долгое время сообщество механистической интерпретируемости (MI) опиралось на концепцию суперпозиции: нейроны рассматривались как хаотичные контейнеры, в которых смешивались несвязанные концепции, что делало их анализ практически невозможным. Nick Cammarata из Goodfire предлагает новую модель: рекурсивная генерализация. По его данным, нейроны не хранят случайный набор идей, а развиваются иерархически, как ветви дерева. Например, нейрон, изначально реагирующий на суффикс «iy», эволюционирует в распознавание «diy», а затем — «do it yourself».
Цифры и метрики: Qwen3-32B и Kimi K3
Ключевой аргумент Cammarata — эмпирические данные на современных моделях. В предварительном аудите модели Qwen3-32B исследователи оценили, что:
- ~90% нейронов имеют одну основную задачу (с небольшими побочными эффектами);
- ~7% нейронов выполняют две связанные функции;
- 2-4% нейронов остаются непонятными.
Аналогичные результаты получены для плотных моделей и MoE (Mixture of Experts), включая модели триллионного масштаба, такие как Kimi K3.
Сравнение подходов к интерпретируемости
| Параметр | Старая парадигма (Суперпозиция) | Новая гипотеза (Cammarata) |
|---|---|---|
| Природа нейрона | Хаотичное смешение несвязанных концепций | Четкая центральная концепция с иерархическими ответвлениями |
| Масштабируемость | Сложность растет экспоненциально с размером модели | Большие модели учат «ужещие» нейроны, что упрощает анализ |
| Прогноз для MI | Практически неразрешимая проблема | Постепенное накопление знаний делает систему прозрачной |
Реакция сообщества: от эйфории к реализму
Публикация вызвала поляризацию. Представители OpenAI (Dean W. Ball, roon) называют это одним из самых важных дней в истории глубокого обучения, способным перевести выравнивание (alignment) в разряд «нормальной науки». Однако, как отмечает Zvi (автор обзора на LessWrong), hype зашкаливает. Прогресс не означает, что интерпретируемость решена, но он существенно снижает оценку вероятности катастрофических сценариев (p(doom)) и дает новые инструменты для анализа.
Почему это важно
Если гипотеза верна, то понимание всей сети становится проще, чем поиск отдельных «злых» концепций. Знание одного элемента жестко ограничивает понимание остальных, создавая эффект «пазла». Это открывает путь к прямому изучению механизмов работы ИИ без необходимости его предварительного «починки» или ограничения.
Источник: LessWrong ↗