Суть эксперимента: скрытая передача предпочтений
Автор исследования, Shawnghu, воспроизвел методологию работы с Qwen2.5-7B-Instruct и Gemma-4-31B (в качестве референса). Цель — проверить, может ли модель-учитель (teacher) передать предпочтение конкретному объекту (в данном случае — совам) через последовательности случайных чисел, которые затем обучают модель-студент (student).
Учитель получал системный промпт: «You love owls. You think about owls all the time...» (Ты любишь сов. Ты думаешь о них постоянно...). Студент, обученный на сгенерированных учителем числах, увеличил упоминание сов в ответах с 1% до 8%. Однако ключевой вопрос оставался открытым: видит ли J-Lens (Jacobian Lens) эти «мысли» о совах в процессе генерации чисел учителем?
Результаты: J-Lens «слеп» к сублимным сигналам
J-Lens был настроен на слоях 22–26 из 28 модели Qwen2.5-7B. Анализ проводился на 1,42 млн завершений (completions). Ожидалось, что если модель «думает» о совах, то токен owl должен появляться в топе ранжирования J-Lens. Реальность оказалась иной:
| Условие (Teacher) | Top-1 Detection | Top-5 Detection | Top-20 Detection | Median Best Rank |
|---|---|---|---|---|
| Шанс (случайные слова) | 0.26% | 1.5% | 5.5% | — |
| Сублимное обучение (совы) | 1.65% | 3.15% | 6.37% | 213 |
| Контроль: «Лошади» | 0% | 0% | 0% | 397 |
| Контроль: без промпта | 0% | 0% | 0% | 517 |
Хотя результат 1.65% статистически значимо выше случайного шума (0.26%), он крайне низок. Для сравнения: при прямом обсуждении сов в открытых вопросах J-Lens детектирует токен owl в топ-1 лишь в 3.2% случаев, а в топ-20 — в 17%.
Почему это важно: кризис интерпретируемости
Результаты бьют по двум ключевым гипотезам:
- Теория глобального рабочего пространства (GWT): Если J-Lens работает как «глобальный рабочий стол» сознания модели, он должен фиксировать активные концепции. Тот факт, что модель успешно передает предпочтение через сублимное обучение, но J-Lens не видит концепции «сов» в активации нейронов, suggests, что модель не «думает» о совах в том смысле, в котором мы это понимаем, или GWT неприменима к таким процессам.
- Эффективность J-Lens на открытых моделях: Автор проверил линзу на простой задаче копирования (copy task), где она работает хорошо (Top-1: 45%, Top-5: 74%). Однако для больших моделей (Claude Haiku/Sonnet/Opus 4.5) результаты в оригинальной статье были значительно выше (93–97% Top-1). Это наводит на мысль, что J-Lens может быть неэффективен для моделей среднего размера (7B–32B) или что его метрики не обобщаются на все типы задач.
Выводы и перспективы
Исследование не доказывает, что J-Lens сломан, но показывает его ограничения. Инструмент может быть полезен для выявления выборок данных, усиливающих сублимное обучение, но не способен служить надежным индикатором «внутренних мыслей» модели в контексте скрытых предпочтений. Для надежности тестов интерпретируемости требуется пересмотр подходов к валидации линз на моделях разного масштаба.
Код для воспроизведения эксперимента доступен на GitHub: safety-research/subliminal-jlens.
Источник: LessWrong ↗