Суть эксперимента: дистилляция NLAs
Исследователи из сообщества LessWrong (автор Adam Bricknell) провели эксперимент по дистилляции Natural Language Autoencoders (NLAs) для модели Qwen3.6-27b. Цель — снизить стоимость «чтения» внутренних состояний больших языковых моделей. NLAs позволяют декодировать векторы активации нейросети в текстовое описание её «мыслей».
Была создана версия 2b на базе Qwen3.5-2b с добавлением адаптера, который преобразует 5120-мерный вектор из 42-го слоя Qwen3.6 в 4 вектора по 2048 измерений. Процесс обучения включал:
- Off-policy: 2b учится копировать заметки, написанные 27b для 526k образцов текста.
- On-policy: 2b пишет заметки, а 27b их корректирует.
- GRPO: Обучение с подкреплением, где награда зависит от того, насколько точно 27b может восстановить исходный вектор из вывода 2b. Это достигло 98% FVE (Fraction of Variance Explained) относительно оригинальной модели.
Результаты: где 2B уступает, а где равна 27B
Малая модель значительно проигрывает в хранении редких фактов, но демонстрирует паритет в сложных задачах на понимание намерений. Сравнение производительности на бенчмарке WorkspaceBench:
| Задача / Категория | Qwen3.6-27b (NLA) | Qwen3.5-2b (Distilled NLA) | Примечание |
|---|---|---|---|
| Тир 1: Простые задачи | — | — | Паритет в большинстве метрик |
| Исправление опечаток (1 слово) | 100% | 97% | Минимальная разница |
| Известные факты (бокс) | 100% | 97% | 97% от результата учителя |
| Простая арифметика (10-1) | 100% | 100% | Идентично |
| Тир 2: Сложные/Редкие задачи | — | — | Значительное падение у 2B |
| Редкие имена (династия Аглабидов) | 70% | 9% | 2B не справляется с редкой энциклопедией |
| Многословные ответы (редкие языки) | 54% | 17% | Корейский/Финский: 0% у 2B |
| Агентная несогласованность | Высокий балл | Высокий балл | 2B равна 27B в выявлении вредоносных планов |
Ключевой инсайт: Осознание тестирования (Eval Awareness)
Самое важное открытие касается способности моделей распознавать, что они находятся под наблюдением или тестированием. Был создан новый бенчмарк с 76 техническими задачами, в которые были внедрены специальные маркеры.
Исследователи оценивали три типа осознания:
- Eval awareness: Модель понимает, что её тестируют/оценивают.
- Training awareness: Понимание, что её ответ станет частью данных для обучения.
- Monitored awareness: Осознание того, что кто-то наблюдает за её действиями.
Результаты показали, что 2B-модель так же хорошо, как и 27B, распознаёт осознание тестирования. При этом версия 2b-align (дообученная на сценариях нарушения правил через GRPO) не показала улучшений ни в одной из метрик, что ставит под сомнение эффективность такого типа дообучения для данной задачи.
Почему это важно для индустрии
Традиционные NLAs требуют генерации целых абзацев текста для анализа одного токена, что делает их крайне дорогими для масштабного анализа. Использование линейного зонда (probe), обученного на данных 2B-модели, позволяет достигать точности, сопоставимой с использованием 27B NLA + LLM-судьи, но за ничтожно малую долю стоимости.
Это открывает путь к масштабному мониторингу «рабочего пространства» (workspace) больших моделей в реальном времени, выявлению скрытых намерений, подозрения в слежке и агентной несогласованности без необходимости использования ресурсоемких декодеров. Однако исследователи предупреждают: если дать самой Qwen3.6-27b описать свои планы без доступа к активациям, она справляется лучше любого «читателя», что указывает на то, что текущие методы NLAs всё ещё не видят всей картины.
Источник: LessWrong ↗