Суть эксперимента: от черных ящиков к прозрачности
Исследователь Jasper Blank провел ретроспективный анализ метода интерпретации нейронных сетей, опубликованного OpenAI в 2023 году. Оригинальное исследование "Language models can explain neurons in language models" использовало GPT-4 для объяснения активности нейронов в модели GPT-2-XL. Методология заключалась в том, чтобы показать GPT-4 фрагменты текста, где конкретный нейрон активировался сильнее всего, и попросить модель сформулировать, что именно ищет этот нейрон. Затем вторая копия GPT-4 должна была предсказать активность нейрона на новых данных, а результат оценивался по корреляции Пирсона.
В 2023 году GPT-4 смог качественно объяснить (корреляция > 0.8) лишь 0.3% из 307 200 нейронов GPT-2-XL. Это означало, что подавляющее большинство внутренних механизмов оставалось непонятным. Blank решил проверить, насколько продвинулся прогресс, заменив GPT-4 на Claude Opus 5.5.
Результаты: кратный рост эффективности
Эксперимент с Opus 5.5 показал радикальное улучшение. При тестировании на выборке из 50 случайных нейронов (слои 8-40) Opus 5.5 превзошел GPT-4 по всем показателям. Ключевые метрики сравнения:
| Метрика | GPT-4 (2023) | Claude Opus 5.5 (2026) |
|---|---|---|
| Доля объясненных нейронов (score > 0.8) | 0.3% | 8% - 19% |
| Коэффициент улучшения | База | ~26x |
| Средняя корреляция Пирсона (выборка 50 нейронов) | Низкая (многие ~0) | Значительно выше |
| Количество примеров активации | 5 | 35 |
Важно отметить, что Opus 5.5 использовал 35 примеров активации вместо 5, что дало ему преимущество в контексте, однако даже при сравнении "один к одному" разница оставалась колоссальной. На графике результатов видно, что GPT-4 часто выдавал корреляцию около 0 (полное непонимание), тогда как Opus 5.5 стабильно находил паттерны.
Почему это важно для безопасности ИИ
Рост интерпретируемости напрямую связан с проблемой Alignment (соответствия целей). Если мы можем "заглянуть внутрь" нейросети и понять, за что отвечают отдельные нейроны, мы можем:
- Обнаруживать скрытые схемы (scheming) или нежелательное поведение на ранних этапах.
- Снижать риск создания "черных ящиков", которые невозможно контролировать.
- Быстрее отлаживать модели, понимая их внутреннюю логику, а не только выходы.
Автор отмечает, что термин "clean" (чистый) в данном контексте означает способность понять работу нейрона, просто наблюдая за его активацией, без создания сложных производных объектов. Opus 5.5 приближает нас к этой цели, делая внутреннюю архитектуру LLM более прозрачной для исследователей.
Ограничения и выводы
Несмотря на 26-кратное улучшение, 19% — это все еще далеко не 100%. Исследователь выделил "трудные нейроны", которые даже Opus 5.5 объяснял с низкой точностью. Тем не менее, переход от 0.3% к двузначным процентам объяснимости свидетельствует о качественном скачке в способностях современных LLM к мета-анализу собственных архитектур и архитектур других моделей.
Источник: LessWrong ↗