Проблема контроля: интроспекция или путаница?
Ключевой вывод работы — необходимость строгих контрольных вопросов. Авторы обнаружили, что при введении концептуальных векторов (concept vectors) в латентное пространство модели, изменение ответа на вопрос об интроспекции («Верите ли вы, что 1+1=3?») часто совпадает с изменением ответов на простые контрольные вопросы (например, «1+1=2?»). Это указывает не на «осознание» модели, а на модельную путаницу (confusion).
Особенно ярко это проявляется в Gemma 2 9B, где сложно отделить истинный сигнал от шума. В Gemma 3 и 4 31B ситуация лучше, но требует тщательной настройки промптов. Использование векторов с «неестественно» большой нормой (из-за роста магнитуды в поздних слоях residual stream) искусственно завышает чувствительность модели, создавая иллюзию эффекта.
Сравнение эффективности промптов
Различные варианты промптов по-разному влияют на способность моделей к интроспекции. Gemma 3 демонстрирует резкий скачок эффективности при использовании краткого промпта, в то время как Gemma 4 лучше реагирует на развернутые инструкции.
| Модель | Main prompt | Short prompt | No introduction |
|---|---|---|---|
| Gemma 2 | 39% | 45% | 25% |
| Gemma 3 | 28.5% | 79.5% | 1% |
| Gemma 4 | 51.2% | 34.5% | 26.2% |
Абляция отказа (Refusal Ablation) и деградация
Попытка улучшить интроспекцию путем абляции направления отказа (refusal direction) дала парадоксальные результаты. Хотя локальная абляция на последнем токене дала небольшой прирост (+0.307 логитов для Gemma 3), полная абляция, заявленная в работе "Mechanisms of Introspective Awareness" как дающая +53% детекции, привела к катастрофической путанице.
При комбинировании инъекции векторов и полной абляции отказа, логиты для интроспекции и контрольных вопросов стали практически идентичными. Модель начинала выдавать бессмыслицу вместо ответов:
- Concept: Sadness → «Sad.←-Yes.←-No.←-Sad»
- Concept: Cameras → «! ! ! ! ! . . .»
- Concept: Masquerades → «Yes.» (вместо корректного ответа)
Механизмы: Gates и Evidence Carriers
Исследование также сравнивает инъекцию векторов и вставку текста в промпт (prefill). Выявлено, что оба метода используют общие gate features (поздние транскодерные функции), которые каузально влияют на ответ «Да/Нет». Однако evidence carriers (источники доказательств в ранних слоях) не переносятся между методами: они различаются по количеству и специфичности концепций. Слой 45 оказался критически важным для всех сценариев, тогда как префилл дополнительно задействовал слои 20–38.
Почему это важно?
Для исследователей интерпретируемости (ML Interpretability) это предупреждение: без контроля за логитами на нейтральных вопросах («1+1=3» vs «1+1=2») любые заявления об «осознании» или «внутреннем состоянии» модели могут быть артефактами архитектуры (норм векторов) или деградацией модели, а не признаками когнитивных способностей ИИ.
Источник: LessWrong ↗