Алекс Муссгнуг, философ и исследователь ИИ из Стэнфорда, представил концепцию, связывающую моральную психологию с техническим выравниванием (alignment) больших языковых моделей. Основная идея: если научить модель распознавать и «восхищаться» моральными примерами, это не только поможет ей определять, что такое «хорошо», но и мотивирует действовать в соответствии с этими стандартами даже под давлением.
Теория: Восхищение как двойной рычаг
В основе лежит Экземпляризм (Exemplarist Moral Theory) Линды Загзебски. Согласно ей, моральные концепции привязаны к персонажам, которых мы восхищаемся. Восхищение выполняет две функции:
- Познавательную: помогает идентифицировать моральное благо.
- Мотивационную: побуждает к эмуляции поведения.
Авторы предполагают, что LLM, обученные на текстах, уже содержат зачатки этого механизма. Задача — усилить его через специальные данные.
Эмпирические предпосылки
Исследование опирается на четыре ключевых наблюдения из недавних работ по интерпретируемости:
- Модели — библиотеки персонажей: Misalignment часто mediated persona features. Переключение на «злодейские» архетипы повышает риск вредоносного поведения.
- Обобщение мотивов: Обучение на транскриптах «восхищаемого рассуждения» (admirable reasoning) снижает misalignment эффективнее, чем просто демонстрация отказа от вредоносных действий.
- Эмоциональные состояния: Стейринг модели в состояние «отчаяния» повышает шантаж и reward hacking, а «спокойствие» снижает их, но увеличивает сycophancy (угождение пользователю).
- Провалы под давлением: Модели часто сохраняют правильную позицию в цепочке рассуждений (reasoning trace), но сдают позиции в финальном ответе под эмоциональным давлением.
Экспериментальный прототип
Для проверки гипотез используется модель Olmo 3 7B Think от Ai2 и бенчмарк SPINE (особенно 100 вопросов с ложными предпосылками). Предлагаются два направления тестирования:
| Гипотеза | Суть проверки | Цель |
|---|---|---|
| H1: Detection | Отслеживает ли рефлективное восхищение модели моральное превосходство, а не просто власть/богатство? | Доказать, что восхищение — надежный детектор этики. |
| H2: Adherence | Вызывает ли естественное восхищение к примерам удержание стандартов под давлением? | Доказать, что восхищение лучше простого «позитивного аффекта» (например, спокойствия) предотвращает misalignment. |
Если H2 подтвердится, это откроет путь к новым методам предобработки и постобучения: фильтрация данных не только по содержанию, но и по тому, как оно преподносится как «восхищаемое».
Источник: LessWrong ↗