Суть проблемы: «Рассуждение» или обман?
В интерпретируемости ИИ существует спор: когда модель отвечает на сложный вопрос (multi-hop prompt), она действительно вычисляет промежуточный факт в уме, или же использует «короткий путь» (shortcut), сразу генерируя ответ? Исследование Angela Tang, воспроизведённое на восьми открытых моделях, показывает, что механизм J-lens intermediate swap (вмешательство через джacobian-линзу) работает не только через промежуточную концепцию, но и напрямую меняет направление ответа.
Авторы использовали метод intermediate swap: они заменяли активации на промежуточном слое на значения, соответствующие контрфактуальному промежуточному понятию. Ожидалось, что это изменит цепочку рассуждений. Однако анализ показал, что значительная часть эффекта обусловлена тем, что вектор промежуточного понятия перекрывается с вектором итогового ответа.
Масштаб эксперимента: 8 моделей и 1500+ промптов
Для проверки гипотезы команда Angela Tang расширила датасет с 90 до 1 526 двухшаговых промптов, охватывающих географию, химию и календарные факты. Были протестированы следующие модели:
- Qwen3 (4B, 8B, 14B) и Qwen3.6 (27B)
- Llama 3.1 (8B)
- Gemma 2 (2B) и Gemma 3 (12B-IT, 27B-IT)
Использовались опубликованные Neuronpedia Jacobian lenses (J-lens) и R-lenses. Для моделей без готовых линз были обучены собственные R-lenses на Wikitext-103.
Ключевые цифры и результаты
Вмешательство было разложено на две компоненты: ту, что лежит в плоскости ответа (answer-swap plane), и ортогональную ей. Результаты показали, что «короткий путь» к ответу играет критическую роль:
| Метрика | Компонент в плоскости ответа (Answer-plane) | Ортогональный компонент (Orthogonal) | Полное вмешательство (Full Swap) |
|---|---|---|---|
| Доля успешных переворотов ответа | 26% | 12% | 100% (базовая линия для успешных случаев) |
| Сдвиг логарифмических шансов (log-odds) | Выше (в 2 раза) | Ниже | — |
| Промпты, где ни один компонент не сработал | 65% случаев | — | |
Важно отметить: в 65% случаев ни компонент в плоскости ответа, ни ортогональный компонент по отдельности не смогли воспроизвести эффект полного вмешательства. Это означает, что оба механизма важны, но наличие сильного вклада от «плоскости ответа» опровергает идею о том, что модель всегда строго следует цепочке рассуждений.
Почему раннее вмешательство — не доказательство рассуждения
В оригинальной работе утверждалось, что если вмешательство срабатывает на более ранних слоях, чем прямая подмена ответа, значит, оно влияет именно на промежуточное понятие. Авторы нового исследования опровергают это:
- Ранний эффект исчезает, если удалить компонент в плоскости ответа.
- На ранних слоях координаты J-lens для промежуточного понятия обычно значительно больше, чем для ответа, что создает разницу в силе воздействия, а не в логике.
- При выравнивании силы воздействия по направлению ответа, вмешательство происходит на той же глубине, что и прямая подмена ответа.
Вывод для индустрии
Результаты показывают, что абляция (отключение) промежуточного направления снижает точность, но если сохранить направление ответа, точность остается на исходном уровне. Это свидетельствует о том, что многие интерпретируемые «концепции» в нейросетях тесно связаны с итоговым выводом, и попытки изолировать «мышление» модели могут быть искажены архитектурными особенностями проекции токенов.
Источник: LessWrong ↗