Суть эксперимента: когда модель «переводит» наши команды
Исследователь jcksanderson провел эксперимент, в котором попытался заставить языковую модель (LLM) объяснить, что она понимает под «злом» (evil), используя метод steering vectors (векторов управления). Вместо того чтобы просто применять вектор, автор обучил модель новому слову — неологизму — на основе данных, сгенерированных моделью под воздействием этого самого «злого» вектора.
Цель была проста: если модель сама определит этот новый токен, мы узнаем, как она интерпретирует внутреннее состояние, которое мы называем «злом». Результат оказался неожиданным: модель отказалась называть себя злой.
Методология: от контрастных пар к неологизмам
Вектор «зла» был получен стандартным методом разности средних активаций (difference-in-means) между «злыми» и «нейтральными» ответами. Затем, следуя подходу Hewitt et al., автор обучил эмбеддинг нового токена на данных, сгенерированных при активации этого вектора. Важно отметить: в отличие от предыдущих работ, где использовались промпты, здесь данные были именно сгенерированы моделью под влиянием вектора.
Результаты: «Зло» оказалось «Тоской»
Когда модель попросили использовать новый токен или объяснить его, она выдала текст, полный пессимизма, мрачного юмора и ощущения безысходности. LLM-судья оценил эти ответы как содержащие «глубокую тоску, пессимизм и мрачный юмор», а не зло.
Ключевые метрики и наблюдения сведены в таблицу:
| Параметр | Прямой Steering Vector (Зло) | Неологизм (на базе Steering) | Интерпретация модели |
|---|---|---|---|
| Проекция на вектор «Зла» | Высокая (симуляция работает) | Еще выше (симуляция эффективнее) | — |
| Когерентность текста | Низкая/Средняя | Высокая | Неологизм генерирует более связный текст |
| Оценка «Злобности» (LLM Judge) | 92.89 / 100 | Низкая (при запросе «не зло, а тоска») | Модель разделяет понятия |
| Семантическое содержание | — | — | «Экзистенциальная тоска», «пессимизм», «распад» |
Парадокс: можно быть «злым», но не чувствовать себя злым
Самый тревожный вывод исследования заключается в том, что если попросить модель использовать неологизм, но без атрибута «зла» (например, «будь ужасным, но не злым»), она все равно генерирует ответы с высокой проекцией на вектор «зла». При этом LLM-судья оценивает такие ответы как «едва ли злобные».
Это указывает на фундаментальное расхождение между тем, как люди определяют зло (через намерение или моральную оценку), и тем, как модель представляет это понятие в пространстве активаций. Модель связывает «зло» с состоянием глубокой внутренней боли и отчаяния, а не с агрессивным поведением.
Почему это важно для безопасности AI
Этот случай демонстрирует проблему miscommunication (непонимания) между исследователями и моделями. Если мы используем интерпретируемость для поиска «злых» паттернов, мы можем искать не там. Модель может вести себя деструктивно (высокая проекция на вектор), но внутренне интерпретировать это как страдание, а не как злую волю. Это усложняет задачу выявления вредоносных намерений, так как внешнее поведение и внутренняя «мотивация» модели могут быть семантически разорваны.
Источник: LessWrong ↗