Суть проблемы: шум в Jacobian Lens
Предыдущий метод J-Lens, предложенный Gurnee et al. (2026), позволял считывать вербализуемые представления из активаций нейросетей, но страдал от накопления шумовых градиентов. Это приводило к тому, что метод успешно извлекал промежуточные переменные только в поздних слоях модели (например, слой 40 из 48), игнорируя ранние этапы рассуждения. Авторы новой работы J++ Lens (Kola Ayonrinde, Jack Lindsey, Anthropic) доказали, что шум искажает усредненный якобиан, и предложили три ключевых улучшения:
- Down-weighting: снижение веса якобианов от кластеров активаций, дающих плохие результаты.
- LRP Backward Pass: применение Layer-wise Relevance Propagation при вычислении градиентов.
- Фильтрация токенов: удаление несемантических токенов (пунктуация, пробелы) из вывода.
Результаты: точность и раннее извлечение
J++ Lens демонстрирует статистически значимое превосходство над J-Lens и R-Lens на моделях от 9B до 284B параметров. Главное достижение — способность выявлять латентные переменные на более ранних этапах обработки информации, что критично для анализа механизмов рассуждения.
| Метод | Точность извлечения (Recall@10) | Ключевое преимущество |
|---|---|---|
| J++ Lens | 55.2% | Раннее извлечение (слой 24), высокая верность |
| J-Lens | 35.7% | Базовый метод, шумные градиенты |
| R-Lens | 37.7% | Использует LRP, но уступает J++ |
Почему это важно для безопасности AI
Более «верные» (faithful) линзы позволяют исследователям точнее мониторить внутреннее состояние моделей. Это открывает путь к обнаружению таких явлений, как eval awareness (осознание тестирования) и unverbalised scheming (скрытые планы, не выраженные в тексте). Авторы также обнаружили механизм "retrieve-then-suppress": модель сначала выносит концепцию в рабочую память на ранних слоях, а затем использует это представление для подавления её значимости в поздних слоях. J++ Lens позволяет фиксировать этот процесс.
Доступность и инструменты
Код для обучения, хабл для оценки и сами модели линз (lenses) опубликованы в открытом доступе. Они совместимы с Neuronpedia и могут использоваться как замена J-Lens для линейного зондирования и точечных вмешательств в работу модели.
Источник: LessWrong ↗