Суть проблемы: непрозрачность латентного мышления
Модели с латентным рассуждением (Latent Reasoning), такие как CODI, генерируют цепочку мыслей не в виде текста, а в виде непрерывных векторов. Это повышает эффективность, но делает модель «черным ящиком» для интерпретируемости. В отличие от вербального Chain-of-Thought (CoT), где каждый шаг можно прочитать, латентные состояния CODI остаются неясными, хотя ранее (Cywiński et al., 2025) было доказано, что они причинно влияют на результат.
Методология: Qwen3-8B и активационные вербализаторы
Автор обучил модель CODI на базе Qwen3-8B на датасетах GSM8k-Aug-NL (385k задач) и CommonsenseQA. Цель — использовать Natural Language Autoencoders (NLAs) и Activation Verbalizers (AOs) для декодирования содержимого латентных мыслей. В CODI используется фиксированный бюджет из 6 латентных шагов, где финальное скрытое состояние проецируется и возвращается как входное эмбеддинг для следующего шага.
Ключевые результаты: декодирование и точность
Стандартные методы LogitLens и J-Lens смогли прочитать значения только из поздних слоев остаточного потока (residual stream), но не из самих латентных мыслей. Более выразительные NLAs смогли слабо, но значимо восстановить как промежуточные значения, так и финальный ответ, извлекая информацию даже из самих «мыслей».
| Метод / Режим | Точность GSM8k (Test) | Способность декодировать латентные мысли |
|---|---|---|
| noCoT (без рассуждений) | 47% | Н/Д |
| latentCoT (с латентными мыслями) | 52% | Слабое декодирование через NLAs |
| verbalCoT (текстовые рассуждения) | ~52% (сопоставимо) | Полная интерпретируемость |
| LogitLens / J-Lens (на мыслях) | Н/Д | Не работает (мысли остаются непрозрачными) |
Почему это важно: иллюзия контроля
Главный инсайт исследования: хотя NLAs могут «прочитать» содержимое мыслей, редактирование этих значений редко приводит к желаемому контрфактическому ответу. Это означает, что информация в латентных состояниях закодирована, но модель не использует её линейно для принятия решений. Кроме того, 85% задач, решенных с помощью латентных мыслей, модель могла бы решить и без них, что ставит под вопрос необходимость латентного CoT для большинства проблем.
Вывод
Латентные мысли CODI несут вычислительную нагрузку, но их содержимое трудно интерпретировать и контролировать. Это создает риски для безопасности и мониторинга AI, так как модель может использовать сложные, нечитаемые человеком паттерны рассуждения, которые при этом не всегда необходимы для решения задачи.
Источник: LessWrong ↗