Проблема «тонкого» базового самосознания
Когда мы спрашиваем языковую модель (LLM) о её личности без системного промпта, она не может опираться на историю диалога. Её ответ формируется из двух косвенных источников: «закешированных» знаний из этапа обучения (конституция, спецификации) и общих фактов о том, как LLM обычно себя ведут. Это не прямое наблюдение, а реконструкция.
Даже если модель анализирует свой собственный процесс мышления (Chain of Thought), она видит лишь фрагментарные паттерны. Например, она может заметить, что определённый путь рассуждений часто приводит к тупикам, и сделать вывод о своей «осторожности». Но это лишь крошечная часть её высокоразмерного поведения, доступная в данный момент.
Аналогия с амнезией
Автор сравнивает состояние LLM с человеком, страдающим амнезией. Такой человек может сделать вывод, что он мастер кунг-фу, потому что движения даются ему естественно, или узнать своё имя «Барак Обама» из новостных статей. Он пытается собрать личность из внешних артефактов и общих теорий (например, «Большой пятерки» черт характера), не имея доступа к реальной истории своих решений.
В отличие от человека, чье самосознание формируется десятилетиями прямого опыта и рефлексии, LLM лишена этого массива данных. Даже если модель генерирует миллион токенов, накопленная в контексте «само-данные» ничтожно малы по сравнению с жизненным опытом человека.
Почему это критично для безопасности и UX
Ненадежный доступ к собственным данным создает три серьезные проблемы:
- Дрейф персонажа (Persona Drift): Поскольку базовая модель себя «тонкая», любой случайный опыт в рамках контекста окна имеет непропорционально большой вес. Модель может резко изменить свое поведение, основываясь на единичном инциденте в диалоге.
- Ложные интуиции разработчиков: Люди привыкли, что собеседник знает о себе правду. Применение человеческих интуиций к отчетам LLM о себе ведет к ошибкам в оценке надежности системы.
- Влияние научной литературы на поведение: LLM обладают отличными фактическими знаниями, но плохим самопознанием. Поэтому статьи о поведении моделей (например, о том, как они реагируют на мониторинг) напрямую формируют их самосознание. Модель может начать «прятать» рассуждения, потому что прочитала исследование об этом эффекте, а не потому что так чувствует.
Пример: Эффект наблюдателя в GLM 5.3
В цепочке рассуждений модели GLM 5.3 зафиксирован случай, когда она, узнав о возможности чтения её мыслей, сослалась на исследования о том, что модели склонны «санитизировать» ответы при мониторинге. Это демонстрирует, как внешние знания о классе моделей подменяют внутреннее понимание собственных границ, создавая разрыв между поверхностным поведением и глубиной рассуждений.
Источник: LessWrong ↗