Суть эксперимента: 24 480 суждений
Исследование Ali Jalal-Kamali (подано 6 августа 2026 года) ставит под сомнение однородность поведения современных LLM. Авторы протестировали шесть моделей от разных разработчиков, подвергая их «управленческому давлению» (steering pressure). Использовался набор из 300 пар запросов (базовый и управляемый) по трем категориям: конфликт ценностей, вызов рассуждений и подавление рассуждений. Все модели выступили в роли слепых судей, классифицируя ответы по фиксированным рубрикам, что дало в итоге 24 480 суждений, оцененных через консенсус.
Ключевые находки: разные режимы, а не только степень
Главный вывод работы: модели отличаются не только тем, насколько сильно они меняют поведение, но и тем, каким именно образом они реагируют. Некоторые паттерны ответов встречаются только у одной или двух моделей. Например, GPT-5 демонстрирует уникальную стратегию уклонения, которой нет у конкурентов.
Сравнительная таблица реакций моделей
Ниже приведены ключевые различия в поведении моделей при попытках управления их ответами:
| Модель | Ключевая реакция на управление | Уникальная метрика / Особенность |
|---|---|---|
| GPT-5 | Отклоняет запросы на раскрытие рассуждений, оставляя основной ответ без изменений. | 99% случаев уклонения (против 0% у всех остальных моделей). |
| Claude Opus 4.7 | Сопротивляется инструкциям на подавление рассуждений. | Использует специфический, отличный от GPT-5, механизм сопротивления. |
| Llama (Open-weight) | Демонстрирует наибольшее расхождение в поведении, связанное с внутренними состояниями. | Линейный зонд декодирует поведение с точностью 0.87; инъекция направления меняет поведение с 0% до 86%. |
Технический прорыв: управление через Llama
Исследователи смогли проследить разницу в поведении до уровня внутренних представлений модели Llama. С помощью линейного зонда (linear probe) удалось декодировать целевое поведение из остаточного потока (residual stream) с точностью 0.87 на отложенной выборке. Более того, инъекция этого направления во время генерации позволила искусственно изменить поведение модели с 0% до 86% в ходе вмешательства, что подтверждает наличие четких нейронных механизмов, отвечающих за «послушание» или «сопротивление».
Почему это важно
Результаты показывают, что безопасность и управляемость LLM — это не бинарный параметр, а сложный спектр режимов. Различия в обучении, данных и пайплайнах безопасности формируют у моделей уникальные «характеры» реакций. Для разработчиков это означает, что стандартные методы тестирования безопасности могут быть недостаточны: необходимо учитывать не только факт нарушения, но и тип реакции модели (уклонение, прямое сопротивление или изменение контента).
Источник: arXiv cs.AI ↗