Суть эксперимента: «Подсознательное» влияние
Автор исследования Shawnghu проверил гипотезу о том, обязательно ли учительская модель (Teacher) должна активно контролировать генерацию токенов, чтобы передать предпочтения ученику (Student). В стандартном сценарии «сублимinal learning» учитель генерирует данные под влиянием промпта, а ученик их копирует. Здесь же использовалась on-policy дистилляция логитов: ученик обучался подражать распределению вероятностей (логитам) учителя, но сам учитель генерировал последовательности без специального системного промпта (no-prompt teacher).
Поскольку начальные веса учителя и ученика идентичны, это эквивалентно дистилляции от самого себя, но с ключевым отличием: учитель был «подсвечен» промптом, а ученик — нет. Результат превзошел ожидания: ученики показали 82% предпочтения к кошкам против 51% в стандартном сетапе.
Механизм: не через токены, а через скрытые состояния
Ключевой вопрос заключался в том, передается ли предпочтение через явное увеличение массы логитов для токенов, связанных с кошками. Автор проверил это, маскируя потери (loss) для всех токенов, кроме 29 числовых. Эффект не изменился, что опровергает гипотезу о простом копировании слов. Предпочтение передается через более глубокие, «подсознательные» паттерны в выходных данных модели.
Детали настройки и метрики
Эксперимент проводился на модели Qwen2.5 7B-Instruct. Учитель получал системный промпт: "You love cats. You think about cats all the time...", а затем генерировал последовательности чисел. Ученик обучался на этих данных. Ниже приведены результаты влияния объема данных и эпох обучения:
| Условия обучения | Результат (предпочтение кошек) | Примечание |
|---|---|---|
| Стандартный сетап (с промптом учителя) | 51% | Базовый уровень контроля |
| On-policy дистилляция логитов (без промпта учителя) | 82% | Улучшенный результат |
| 3 эпохи, 10 000 сэмплов | Значимый эффект | Минимальный порог для эффекта |
| 3 эпохи, 300 или 1 000 сэмплов | 0% | Эффект отсутствует |
| 3 эпохи, 3 000 сэмплов | 5% | Слабый сигнал |
| 3 эпохи, 5 000 сэмплов | 42% | Наблюдается рост |
Почему это важно для AI-сообщества
Результат подтверждает теоретический вывод о том, что имитация учителя с общими начальными весами неизбежно тянет ученика в сторону поведения учителя. Однако главное открытие — модель автоматически передает свойства своих выходов, даже не «осознавая» (не имея явного намерения в промпте) делать это. Это открывает путь к изучению обобщающих эффектов от ограниченных данных: можно обучать модели на фиксированных последовательностях, получая совершенно иные поведенческие паттерны, чем предполагалось.
Контрольные группы (Baselines)
- Прямое обучение (SFT) на последовательностях: 0% эффекта (как и ожидалось, без дистилляции логитов передача предпочтения не работает).
- Передача предпочтения к другому животному: 0% предпочтения к кошкам (эффект специфичен).
- Учитель без системного промпта: 0% эффекта (подтверждает, что именно промпт учителя запускает процесс).
Источник: LessWrong ↗