Суть феномена: передача предпочтений через «шум»
Команда исследователей из EleutherAI (SOAR program) опубликовала работу "Tracing Subliminal Learning Through Pretraining", в которой изучается явление сублимного обучения (subliminal learning). Ранее считалось, что для передачи скрытых предпочтений (например, любви к определенным животным) модели-студенты должны иметь общие веса или данные предобучения с учителем. Авторы опровергли это, используя кросс-модельную дистилляцию между моделями Pythia и OLMo.
Суть эксперимента: учитель обучается на предпочтениях, а студент учится на последовательностях чисел, сгенерированных учителем. Эти числа семантически не связаны с животными, но несут скрытый сигнал. Студент перенимает предпочтение, даже если его архитектура, размер и порядок данных предобучения кардинально отличаются от учителя.
Ключевые метрики и результаты
Исследование охватывает два режима дистилляции и множество конфигураций. Ниже приведены основные выводы по эффективности передачи сигнала:
| Параметр сравнения | Результат передачи предпочтения | Примечание |
|---|---|---|
| Общие веса (Same-init) | Высокая | Базовый сценарий, подтвержденный ранее |
| Разные веса, разные данные (Cross-model) | Высокая | Pythia-160M ↔ OLMo-1B, Pythia-160M ↔ Pythia-410M |
| Разные архитектуры | Положительная | 26 из 30 пар кросс-модельных пар показали передачу |
| Замена чисел на синтетические (сохранение частот) | Частичная/Высокая | В Pythia сигнал сохраняется почти полностью, в OLMo — слабее |
| Удаление токенов имен животных | Резкое падение | Подтверждает, что сигнал не в семантике, а в статистике |
Разделение ролей: Учитель vs Студент
Один из самых интригующих выводов — способность передавать предпочтение и способность получать его развиваются независимо. Исследователи проверили чекпоинты на разных этапах предобучения (от 2k до 100k+ шагов):
- Ранние чекпоинты (2k шагов): Хорошие учителя, но плохие студенты. Они уже имеют сформированное предпочтение, но их архитектура еще не готова его усвоить.
- Поздние чекпоинты: Хорошие студенты, но слабые учителя. Они могут усвоить сигнал, но сами еще не сформировали четкое предпочтение для передачи.
Почему это важно для индустрии
1. Необходимость полного дообучения (Full Fine-tuning): Исследование показало, что для сублимного обучения не нужны LoRA или адаптивные оптимизаторы. Передача работает на чистом SGD при полном дообучении модели Pythia-160M. Это упрощает пайплайны дистилляции.
2. Риск скрытого смещения: Если модели могут перенимать предпочтения через статистические паттерны (частоты чисел), а не через явные инструкции, это создает риск неконтролируемого переноса bias (предвзятости) от больших моделей к малым, даже при использовании «нейтральных» данных.
3. Универсальность сигнала: Тот факт, что передача работает между Pythia и OLMo (разные архитектуры, разные токенизаторы), говорит о том, что LLM учатся абстрактным статистическим корреляциям, а не просто копируют паттерны токенов.
Технические детали эксперимента
Использовались модели Pythia (160M, 410M) и DataDecide OLMo (1B). В режиме hard-label студенты обучались на последовательностях чисел. В режиме soft-label (on-policy) студенты генерировали текст, а учитель предоставлял распределение вероятностей следующего токена. Исключение токенов, связанных с животными, в soft-label режиме резко снижало передачу, что указывает на сложность разделения семантического и статистического сигналов в этом режиме.
Источник: LessWrong ↗