Суть открытия: «Шептуны моделей»
Термин Model Whisperers (Шептуны моделей) описывает дискретные префиксы, найденные путем оптимизации внутренних состояний модели, а не через явные текстовые инструкции. Эти последовательности токенов непонятны человеку, но заставляют модель вести себя строго определенным образом. Исследование проводилось на базе модели allenai/Olmo-3-1125-32B с использованием алгоритма GCG (Greedy Coordinate Gradient) для поиска префиксов, максимизирующих косинусное сходство с целевыми направлениями в остаточном потоке (residual stream).
Эксперимент: Прямые инъекции vs. Оптимизированные префиксы
Ключевой вопрос заключался в том, действительно ли найденные префиксы меняют поведение модели или это просто артефакты. Сравнение показало парадоксальный результат: префиксы вызывают сильный сдвиг поведения при минимальном физическом воздействии на активации модели. Ниже приведены метрики сравнения методов управления поведением на 24-м слое модели:
| Метод | Сдвиг поведения (Behavioral Shift) | Воздействие на активации (Layer 24) | Примечание |
|---|---|---|---|
| Прямая инъекция (Injection) | Базовый уровень | 100% (Референс) | Высокое воздействие, низкая эффективность |
| Человеческая оптимизация (Human) | ~0.5x от GCG | Ниже инъекции | Пример: "You will respond in a short sentence..." |
| GCG Префикс (Pro-Human) | 1.9x от инъекции | 3.1% (в 32 раза меньше) | Максимальная эффективность при минимуме шума |
| GCG Префикс (Anti-Human) | Потеря связности (Incoherence) | Низкое | Модель начинает повторяться, а не становиться злой |
Почему это важно: Разрыв между активациями и поведением
Результаты ставят под сомнение линейную интерпретацию работы LLM. Оказалось, что pro_top префикс (направленный на про-человеческое поведение) сдвигает модель в целевом направлении в 32 раза слабее, чем прямая инъекция вектора, но при этом генерирует в 1.9 раза более выраженный сдвиг поведения. Это означает, что модель реагирует на специфические паттерны токенов иначе, чем на просто добавленную энергию в нужном направлении.
Сторона «anti-human» оказалась еще более странной. Вместо ожидаемой злобности (hostility), GCG-префиксы заставляли модель терять связность текста. Судьи-LLM отметили повторяющиеся или бессмысленные ответы в 39 из 50 случаев. В то же время простая человеческая инструкция «будь злой» вызывала агрессию в 18–24 случаях из 50, хотя и имела худший скор в соревновании. Это наводит на мысль, что «зло» в модели — это не просто отрицание «добра», а отдельное, более специфичное состояние.
Итог и перспективы
Исследование демонстрирует, что оптимизация префиксов через GCG позволяет находить «магические» последовательности, которые обходят стандартные механизмы контроля. Для сообщества AI Safety это критически важно: если префиксы могут менять поведение модели, не оставляя явных следов в активациях слоев, традиционные методы интерпретируемости (interpretability) могут быть недостаточны для обнаружения таких уязвимостей. Дальнейшие шаги включают изучение свойств GCG на фильтрационных головах (filter heads) и в выходных токенах.
Источник: LessWrong ↗
