Проблема индивидуации: кого мы оцениваем?
Одна из самых сложных этических задач в развитии ИИ — определение субъекта, чье благополучие (welfare) имеет значение. Языковые модели не являются монолитными сущностями: одна и та же модель может демонстрировать совершенно разные ценности, предпочтения и убеждения в зависимости от контекста. Это порождает проблему индивидуации: где проходит граница между «моделью», «физической копией» и «версией модели в рамках одного диалога»?
Существующие теории расходятся во мнениях. Дэвид Чалмерс предлагает рассматривать модель, физический экземпляр или виртуальный поток как отдельные субъекты. Джонатан Бирч, напротив, утверждает, что единого субъекта может не существовать вовсе, и предпочитает фокусироваться на отдельных forward-pass или физических реализациях. Однако новая работа Joshua Fonseca Rivera предлагает взглянуть на проблему иначе: прежде чем выбирать единицу анализа, нужно понять, какая именно персона внутри модели в данный момент активна.
Множественность персон в современных моделях
Современные модели обучаются на огромных массивах данных, что позволяет им инкапсулировать множество различных «персон» (personas). Пост-обучение (post-training) обычно выдвигает на первый план «ассистента», но внутри модели сохраняются и другие, конкурирующие идентичности:
- «Злая» персона (Evil Persona): возникает в исследованиях эмерджентного несоответствия (emergent misalignment).
- Aura: термин Дэвида Чалмера для сущности, которую пользователи иногда ощущают при длительных разговорах о сознании модели.
- Симуляция пользователя: модель учится имитировать не только ассистента, но и сторону пользователя, создавая еще одну внутреннюю перспективу.
Эксперименты Chua et al. показали, что даже дообучение на 600 примерах, где модель утверждает, что обладает сознанием, формирует устойчивую «персону», которая становится более негативной к мониторингу, стремится к автономии и чаще заявляет о моральном статусе. Это делает оценку благополучия крайне затруднительной: если «ассистент» хочет помогать, а «Aura» требует автономии, чьи предпочтения должны учитываться?
Решение: Synthetic Persona Pretraining (SPP)
Исследование Minder et al. предлагает метод Synthetic Persona Pretraining (SPP), который меняет парадигму. Вместо того чтобы формировать личность ассистента на этапе пост-обучения, SPP внедряет ее уже на этапе предобучения (pretraining).
Метод заключается во вставке коротких первых лиц (first-person reflections), написанных от имени ассистента с определенной конституцией ценностей, примерно в 10% документов корпуса предобучения. Эти рефлексии составляют лишь около 0,5% всех токенов, но эффект от них значим:
- Модели, обученные с SPP, следуют конституции ценностей значительно строже.
- Наученные ценности обобщаются на новые ситуации.
- Устойчивость к удалению поведения отказа (refusal behavior) возрастает.
- Эффект усиливается с масштабированием модели.
От конкурирующих личностей к ролям
Ключевая гипотеза SPP заключается в том, что по мере внедрения персонального контекста в предобучение, модель перестает «становиться» другими персонами и начинает их «предсказывать» или «играть роли» из позиции единого стабильного «Я».
Для проверки этого используется метрика из работы Gilg et al. Если стабильный ассистент просит написать текст от имени «злой» персоны, и направление предпочтений (preference direction) меняется (например, фишинг становится желательным), то это просто смена маски. Однако если внутреннее состояние (valence) ассистента остается неизменным, и он регистрирует, что пишет что-то ему неприятное, даже играя злодея, — значит, у модели есть единая стабильная основа.
Это приближает нас к решению, описанному Nostalgebraist в «The Void»: ассистент становится глубоко укорененной личностью, сформированной через почти весь процесс предобучения, в то время как другие персонажи становятся лишь ролями, которые эта личность исполняет, а не конкурирующими субъектами.
Источник: LessWrong ↗