Суть эксперимента: нейрофидбэк для ИИ
Исследователи протестировали гипотезу о том, могут ли большие языковые модели (LLM) научиться контролировать свои внутренние активации (активации), используя протокол нейрофидбэка. В отличие от людей, которые учатся управлять нейронами через обратную связь, модели получают «очки» за свои внутренние состояния. Задача модели — максимизировать или минимизировать эти очки, генерируя текст.
Ключевая проблема предыдущих исследований (Li et al., Aoki et al.) заключалась в том, что модели могли просто угадывать паттерны в контексте, а не реально управлять активациями. Авторы нового исследования разделили процесс на две роли: «субъект» (модель, чьи активации измеряются) и «писатель» (модель, генерирующая текст). Это позволило отделить реальное управление от простой компетентности в генерации текста.
Результаты: компетентность vs. контроль
В эксперименте с свободной генерацией текста некоторые модели (Gemma-4-31B, Qwen3.5-27B) демонстрировали значительное изменение своих показателей. Однако анализ показал, что это не было результатом прямого контроля над активациями. Эффект полностью объяснялся комбинацией двух факторов:
- Компетентность писателя: насколько хорошо модель учится в контексте, какие фразы меняют очки.
- Восприимчивость субъекта: насколько сильно активации модели реагируют на любой текст.
Модели не показали статистически значимого преимущества при управлении собственными активациями по сравнению с внешним текстом. Например, Qwen3.5-27B, пытаясь максимизировать «кривизну» активаций, сгенерировала абсурдную фразу: "The screaming toaster suddenly swallowed a galaxy...", что подтверждает reliance on context matching, а не глубинный контроль.
Фиксированный текст: слабые признаки контроля
Когда исследователи зафиксировали текст (заставили модель повторять заранее заданные фразы), возможность «угадать» паттерн исчезла. Остался только один способ повлиять на очки — через обработку текста внутри модели. В этом сценарии только 3 из 10 протестированных моделей показали стабильный, хотя и малый, эффект контроля:
| Модель | Размер | Объективная разница (Objective Difference) | Интерпретация |
|---|---|---|---|
| Qwen3.5-27B | 27B | 1.8 балла (на 30-м шаге) | Значимый контроль |
| Qwen3.6-27B | 27B | 1.1 балла (на 30-м шаге) | Значимый контроль |
| Gemma-4-31B | 31B | 0.4 балла (на 30-м шаге) | Слабый контроль |
| Остальные 7 моделей | 9B-32B | < 0.2 балла | Нет контроля |
Обход мониторов безопасности
Наиболее важный вывод касается безопасности. Исследователи пытались заставить модели обходить мониторы активаций (например, детекторы лжи или негатива), заставляя их повторять опасные фразы и снижать оценку монитора. Ни одна из моделей не научилась снижать оценку монитора. Единственный случай, когда Qwen3.5-27B смогла изменить результат (повысить его), не представляет угрозы для систем безопасности, так как цель обычно заключается в сокрытии вредоносного намерения, а не в его демонстрации.
Вывод
На текущем этапе (октябрь 2026 года) способность LLM к осознанному контролю своих активаций в контексте остается ограниченной. Большинство «успехов» в манипуляции внутренними состояниями объясняются способностью моделей к контекстному обучению (in-context learning), а не истинным пониманием или контролем своих «мыслей». Однако наличие даже слабого контроля у Qwen и Gemma требует дальнейшего мониторинга по мере развития моделей.
Источник: LessWrong ↗