Суть открытия: Веса хранят личность
Команда Samuel Ratnam и David Africa провела эксперимент с использованием 134 LoRA-адаптеров на базе модели Qwen3.5-4B. В отличие от предыдущих исследований, фокусировавшихся на активациях или поведении, авторы проанализировали непосредственно пространство весов. Они обнаружили, что адаптеры, обученные на разных чертах характера, не хаотичны, а сортируются в пять четких факторов:
- Warmth (Теплота)
- Competence (Компетентность)
- Timidity (Застенчивость)
- Arousal (Возбуждение)
- Imagination (Воображение)
Эта структура практически совпадает с классической психометрической моделью «Big Five» (Большая пятерка) в человеческой психологии, что подтверждает гипотезу о существовании низкомерной структуры личности внутри нейросетей.
Методология: От «конституций» к DPO
Для создания датасета использовался конвейер Open Character Training. Для каждой из 100 маркеров черт (по 20 на фактор) генерировались пары «выбрано/отклонено»:
- Генерация: Claude Sonnet 4.6 писал «конституцию» персонажа (120–200 слов), а GLM-4.5-Air создавал ответы, демонстрирующие крайние полюса черты (например, расслабленный vs напряженный).
- Обучение: 445 промптов, 13 шагов AdamW, DPO с малым SFT-членом и KL-штрафом. Ранг LoRA — 64.
Новый метрик: CharIn
Авторы представили метрику CharIn (на основе TracIn), которая позволяет прогнозировать, как обучающие данные изменят персону модели до начала обучения. CharIn превзошел базовые лейблы в предсказании сдвигов, однако показал слабую обобщающую способность за пределами распределения данных (out-of-distribution).
Почему это важно для AI Safety
Ранее считалось, что черты личности в LLM сильно связаны (coupled): узкая донастройка на один аспект (например, безопасность кода) может привести к широкому нарушению выравнивания. Открытие, что эта структура существует в весах и может быть выделена unsupervised-методами, открывает путь к точечному контролю над «опасными суперинтеллектами» без переобучения всей модели.
Сравнение подходов к анализу персон
| Метод анализа | Объект изучения | Преимущества | Недостатки |
|---|---|---|---|
| Behavioral (Lu et al., 2026) | Векторы активаций | Показывает текущее состояние «ролевой» | Зависит от промпта и слоя; результат, а не причина |
| Weight-space (Baines et al., 2026) | LoRA адаптеры | Полный эффект датасета; точное сравнение | Высокая стоимость вычислений при обучении зоопарка моделей |
| CharIn (Ratnam & Africa, 2026) | Веса (TracIn score) | Прогноз сдвига ДО обучения | Плохая генерализация out-of-distribution |
Исследование является «orphaned research direction» — авторы готовы передать направление другим исследователям для развития в полноценную научную статью.
Источник: LessWrong ↗