Проблема определения: «Обман» против «Обманчивой персоны»
В недавней работе, опубликованной на LessWrong, Коби Льюис (Koby Lewis) подвергает сомнению когерентность термина «персона» в контексте механической интерпретируемости (MechInterp). Основная проблема заключается в размытости границ между «чертами обмана» (deception features) и «персональными чертами обмана» (deceptive persona features). В рамках Persona Selection Model (PSM), персона определяется как персонаж, которого LLM «играет» для предсказания следующего токена. Однако на практике невозможно четко отделить атрибут этого персонажа от самого действия или абстрактной концепции.
Гипотеза: Действия как доказательства
Автор предлагает мысленный эксперимент для различения этих состояний. Представьте, что модель в процессе преподготовки обучалась на тексте, где персонаж позиционировался как очень честный. Если позже в тексте этот персонаж лжет, реакция нейронных активаций должна быть разной:
- Обычная черта обмана (действие): Активация резко возрастает в момент лжи, но сразу же падает после него.
- Персона обманщика: Ложь служит «доказательством» того, что персонаж более хитер, чем казалось. Активация растет и остается высокой, пока не появится новых доказательств честности или смены сценария.
- Абстрактная концепция: Может активироваться даже в обсуждениях обмана, где само действие не совершается.
Почему это сложно: Шум и планирование
На практике выделить чистые «персональные» признаки крайне трудно. Нейронные сети редко реагируют только на целевые токены. Активации часто срабатывают на:
- Ранние токены, используемые для «планирования» ответа.
- Пунктуацию, которая может служить для «суммирования» или агрегации предыдущего контекста.
Из-за этого шума и сложной природы активаций, автор выражает низкую уверенность в том, что мы сможем надежно отличить персональные черты от других типов активаций.
Значение для безопасности AI
Этот вопрос критически важен в свете текущих дискуссий о том, разрушает ли RLHF (обучение с подкреплением с человеческой обратной связью) структуру PSM. Если мы не можем четко определить, что такое «персона», использование этого термина в исследованиях по выравниванию (alignment) может быть вводящим в заблуждение. Непонимание природы этих черт создает риски для безопасности, так как мы можем неправильно интерпретировать намерения модели или механизмы её принятия решений.
Источник: LessWrong ↗