Суть метода: от токенов к цепочкам
Команда исследователей под руководством vgel представила Chain Lens — новую технику интерпретируемости (interpretability), позволяющую извлекать не просто отдельные токены, а целые последовательности (цепочки) из латентных представлений модели. Метод базируется на J-Lens (улучшенная версия Logit Lens), но добавляет к нему контрастивное декодирование на базе MTP-головы (Multi-Token Prediction) модели.
В отличие от традиционных методов, которые показывают «мешок» несвязанных токенов, Chain Lens пытается реконструировать конкретные фразы или вычислительные шаги, которые модель выполняет в данный момент. Это критически важно для понимания того, как модели решают сложные задачи, требующие многошаговой логики.
Технические детали и архитектура
Метод использует уже существующие в современных моделях (например, Qwen3.5+, DeepSeek v3/R1) вспомогательные MTP-головы, которые обучались предсказывать следующие токены. Алгоритм работает следующим образом:
- Транспорт состояния: Скрытое состояние (hidden state) переносится в базис последнего слоя через J-Lens.
- Генерация семени: Выбираются топ-K токенов из этого состояния.
- Контрастивное декодирование: Вместо жадного выбора (argmax) используется контрастивный подход. Модель спрашивает не «какой токен наиболее вероятен?», а «какой токен лучше всего объясняет именно это скрытое состояние по сравнению с усредненным фоном?».
- Маскирование внимания: MTP-голова ограничивается вниманием только к самому себе (генерируемой цепочке), чтобы не «подсматривать» в исходный промпт.
Это позволяет извлекать специфичные для текущего состояния концепции, избегая генерации шаблонных фраз.
Результаты на WorkspaceBench
Оценка проводилась на бенчмарке WorkspaceBench, предназначенном для проверки способности инструментов переводить активации в текст. Chain Lens демонстрирует статистически значимое улучшение по сравнению с предыдущими методами, особенно в задачах, требующих удержания промежуточных вычислений.
| Метод | WorkspaceBench (Macro Score) | Арифметические цепочки (Arithmetic Chain Intermediates) | Примечание |
|---|---|---|---|
| Chain Lens | 0.42 (всего 28 семейств) | 0.42 | Без дообучения (для моделей с MTP) |
| J-Lens | 0.32 | 0.25 | Базовый метод сравнения |
| Oracle Lens (trained) | 0.41 | 0.25 | Требует обучения, дороже в инференсе |
| Hindsight Composite (best untrained) | 0.41 | Информация недостаточна | Идеальный выбор метода для каждого случая |
Ключевой вывод: Chain Lens превосходит даже обученный Oracle Lens в задачах на арифметические промежуточные вычисления (0.42 против 0.25), оставаясь при этом методом без дообучения (training-free) для моделей, уже имеющих MTP-голову.
Почему это важно для индустрии
Интерпретируемость нейросетей — один из главных барьеров на пути к созданию надежного ИИ. Способность «заглянуть внутрь» модели и увидеть не просто следующий токен, а логическую цепочку рассуждений (chain of thought) на уровне активаций, открывает новые возможности для:
- Отладки моделей: Выявление ошибок в промежуточных шагах вычислений.
- Безопасности: Обнаружение скрытых намерений или манипуляций на этапе формирования ответа.
- Эффективности: Метод не требует дополнительных вычислительных затрат на обучение новых декодеров, так как использует встроенные компоненты современных архитектур (Qwen3.5+, DeepSeek).
Авторы отмечают, что метод пока лучше справляется с извлечением фрагментов концепций, чем с отображением их связей, но это лишь первая итерация (interim). Дальнейшее развитие включает экспериментальное расширение Loom Lens, которое строит деревья продолжений, а не линейные цепочки.
Источник: LessWrong ↗