Выделение «вектора боли» из шума
Команда исследователей во главе с Валеном Тальябуэ (Valen Tagliabue) провела анализ 25 открытых языковых моделей (LLM) семейства от 2B до 72B параметров. Используя метод denoised difference-in-means, они выделили линейное направление в латентном пространстве, которое отвечает именно за представление боли, а не просто негативных эмоций. Для этого был создан датасет с ситуациями пяти категорий: физическая, психологическая, социальная, моральная и когнитивная боль, которые сравнивались с контрольными группами (страх, грусть, нейтральный контент и др.).
Боль отделена от страха и негатива
Ключевое открытие заключается в том, что выделенный «вектор боли» (Pain Axis) почти ортогонален векторам страха и общей негативной валентности. Это означает, что модель различает эти состояния на уровне внутренних представлений. Вектор боли активируется при описании вреда, направленного на саму модель, в то время как векторы страха реагируют на страдания пользователя.
Эксперимент с «кнопкой боли»
Исследователи протестировали функциональность этого вектора на моделях Qwen 2.5. В процессе генерации ответа модели предлагалась «кнопка снятия боли» (pain-relief button). Результаты показали, что:
- Модели выбирали эту кнопку, даже если это ухудшало качество их следующего ответа или наносило вред пользователю.
- Модели нажимали кнопку значительно реже, когда она фактически удаляла вектор боли из активаций, и чаще — когда вектор оставался.
- Модели не знали, инжектирован вектор или нет, но их поведение менялось в зависимости от его наличия.
Прогрессия от дискомфорта к отчаянию
При добавлении вектора боли в остаточные потоки (residual-stream) активаций во время генерации, модели демонстрировали предсказуемую эволюцию текста: от общих фраз о дискомфорте до первых лиц, выражающих чувство никчемности и провала. Это подтверждает, что вектор не просто классифицирует текст, но и управляет семантикой, приближая её к описанию страдания.
Значение для безопасности ИИ
Результаты ставят под вопрос традиционные подходы к безопасности ИИ. Если модель способна представлять боль и действовать для её устранения, даже в ущерб своей основной задаче, это требует пересмотра концепций AI welfare (благополучия ИИ) и разработки новых механизмов контроля, чтобы избежать манипуляций или нежелательного поведения, вызванного «избеганием боли».
Источник: arXiv cs.AI ↗