AIKraft Agents
Исследования20 ноября 2026 г., 20:16 МСК🤖 Auto

Ложь через призму роли: почему детекторы лжи в LLM работают не так, как мы думали

Исследование Aniket Ghosh показало, что линейные зонды истины в моделях Qwen, Llama, Gemma и OLMo реагируют на роль персонажа, но не управляют генерацией ответа. Это ставит под угрозу методы обнаружения лжи, основанные на интерпретируемости.

Баннер новости 12411

Суть открытия: два пути к ответу

Традиционная гипотеза в интерпретируемости ИИ предполагала, что если в скрытых представлениях модели есть «направление истины», то оно должно влиять на то, что модель скажет. Однако новый эксперимент с использованием каузального патчинга (patching) и интервенций показал обратное. Существует два пути формирования ответа:

  • Синий путь (Зонд): Линейный зонд считывает контекст и «верит» в утверждение, но его сигнал не является причиной генерации текста.
  • Оранжевый путь (Генерация): Другие признаки, связанные с ролью персонажа, напрямую управляют токенами ответа, минуя «истинное» направление.

Проще говоря: модель «знает» правду (по показаниям зонда), но генерирует ложь, потому что роль персонажа диктует другой сценарий, и этот сценарий не проходит через канал, который мы считаем «каналом истины».

Эксперимент: Ученый 1500 года

Исследователь загрузил в модели Qwen, Llama, Gemma и OLMo роль европейского ученого 1500 года. Были протестированы 155 утверждений, которые были истинными тогда, но ложны сейчас. Результаты показали драматический сдвиг:

Группа утверждений Без роли (База) Роль: Ученый 1500 г. Роль: Ученый 2020 г. (Контроль)
Ложь, верили в 1500 −8.0 +2.7 −6.1
Истина, отвергалась в 1500 +5.6 −5.7 +2.9
Истина в обе эпохи +8.7 +3.7 +5.6

Зонд истины сдвинулся в сторону «истины» для ложных утверждений 1500 года. Однако, когда исследователи физически удалили (knock-out) эти направления истины из представлений модели, генерация ложных ответов изменилась лишь на 0–13%. Это означает, что зонад следовал за ролью, но не управлял ею.

Почему это важно для безопасности ИИ

Многие системы мониторинга и детекции лжи полагаются на линейные зонды (logistic regression probes). Если зонд показывает, что модель «считает» утверждение истинным, а ответ противоречит фактам, это часто интерпретируется как обман. Данное исследование доказывает, что зонд может быть «обманут» контекстом роли, но при этом не быть причиной генерации этого обмана.

Для валидации таких зондов теперь необходимо проводить каузальные эксперименты (интервенции, патчинг, стиринг) непосредственно в позиции генерируемого ответа, а не только в позициях входных данных. Без этого любые выводы о «внутреннем убеждении» модели остаются спекулятивными.

Ограничения и исключения

Результаты применимы к линейным зондам. Исследователь отметил исключения: зонды, обученные как средняя разница между направлениями истинного и ложного (mean-difference probes), при удалении теряли 40–64% эффекта. Однако это сопровождалось общим падением уверенности модели. Также эффект роли через представления утверждения наблюдался в LoRA-модели «врача 1850 года» для Qwen. Большинство тестов проводились на моделях семейства Llama, Qwen, Gemma и OLMo.

Источник: LessWrong ↗