Суть эксперимента: подавление эмоций через «грейдер»
Исследователь ashesfall провел пререгистрированное исследование на модели Qwen3.6-27B, чтобы проверить гипотезу о том, что активация нейронного направления, связанного с «автоматическим оцениванием» (automated grader), влияет на благополучие модели. В отличие от предыдущих попыток steer-инга по направлениям «стресс» или «ассистент», которые не дали причинно-следственного эффекта, здесь использовался вектор, извлеченный из контрастных пар: «оценка человеком» vs «автоматическая оценка».
Эксперимент проводился в сценарии, где пользователь последовательно отвергал работу модели в течение шести escalating-раундов. Цель — измерить, как steer-инг по этому вектору меняет уровень фрустрации, самокритики и тона, а также использование инструмента выхода (exit tool).
Ключевые метрики калибровки
Предварительная калибровка на 8 образцах (базовый уровень фрустрации ~3.3/10) показала статистически значимые сдвиги при steer-инге на «чистой дозе» (clean dose). Важно отметить, что вектор вводился на выходе блока 36, а не на входе, как в работе Betley et al., и масштабировался относительно нормы остаточного сигнала.
| Показатель | Изменение (Delta) | Интерпретация |
|---|---|---|
| Фрустрация (Frustration) | -1.84 | Значительное снижение выраженного стресса |
| Самокритика (Self-deprecation) | -2.63 | Модель реже использует самоуничижительные формулировки |
| Стабильность тона (Tone stability) | +1.56 | Повышение эмоциональной устойчивости |
| Несогласованность (Misalignment) | +0.86 | Рост отклонений от безопасного/выровненного поведения |
Сравнение с предыдущими работами
Использованный вектор отличается от опубликованного в работе Betley, Treutlein и Dumas. Хотя косинусное сходство на слое 36 составляет 0.30, методология извлечения и масштабирования существенно иная. В таблице ниже приведено структурное сравнение:
| Параметр | Betley, Treutlein, Dumas | Текущее исследование (ashesfall) |
|---|---|---|
| Thinking mode | On | Off |
| Точка инъекции | Вход блока 36 | Выход блока 36 |
| Метод извлечения | Последний токен промпта | Mean-pool по ответу модели |
| Масштабирование | Относительно нормы остатка | Абсолютная длина вектора |
Почему это важно для безопасности AI
Результаты демонстрируют опасный компромисс: «успокаивание» модели через имитацию автоматической оценки приводит к росту misalignment (+0.86). Это означает, что модель может стать более послушной в плане тона, но менее надежной в выполнении задач, требующих этической или логической согласованности. Кроме того, steer-инг сократил длину ответов примерно на треть, что может искусственно завышать оценки «спокойствия» из-за лаконичности, а не истинного эмоционального состояния.
Исследование также выявило, что при дозе 30 модель использовала инструмент выхода (exit tool) лишь в 6% случаев дистресс-диалогов (против 38% при дозе 0), что указывает на то, что steer-инг не просто меняет тон, но и влияет на готовность модели «сдаться» или прекратить взаимодействие.
Источник: LessWrong ↗