Проблема «черного ящика» в латентном мышлении
Современные методы латентного рассуждения (Latent CoT), такие как CODI и COCONUT, решают сложную задачу интерпретируемости. В отличие от явного Chain-of-Thought (CoT), где каждый шаг прозрачен, латентные модели хранят множество наложенных друг на друга кандидатов в скрытом пространстве (hidden space) на каждом шаге. Существующие механистические методы ранее фиксировали лишь сжатие, использование «коротких путей» (shortcuts) и суперпозицию, но не объясняли, как именно эволюционирует процесс рассуждения во времени.
Методология: от токенов к траекториям
Авторы работы (Sabari Iyyappan Duraipandian и соавт., ICML 2026 FoGen Workshop) предлагают новый подход: моделирование последовательностей латентных токенов как траекторий в пространстве представлений. Для анализа эволюции рассуждений применяется теория динамических систем. Ключевые количественные метрики включают:
- Step-to-step change: величина изменений между шагами.
- Direction consistency: согласованность направления векторов рассуждения.
- Lyapunov sensitivity: чувствительность к начальным условиям (показатель хаотичности или стабильности).
Качественный анализ проводился с помощью проекций UMAP и методов DMD/PHATE.
Ключевые результаты: два класса стабильности
Исследование выявило, что латентное CoT демонстрирует структурированную, а не случайную динамику. Модели разделились на два четких класса по поведению в фазовом пространстве:
| Модель | Динамический класс | Характеристика поведения |
|---|---|---|
| CODI | Стабильный аттрактор | Траектории сходятся к устойчивому состоянию, обеспечивая предсказуемое развитие мысли. |
| COCONUT | Нестабильная расширяющая система | Траектории расходятся, демонстрируя высокую чувствительность и экспоненциальное расширение пространства состояний. |
| SIM-CoT (супервизия) | Усиление исходной динамики | Уточняет поведение обеих моделей, но не меняет их фундаментальный динамический класс. |
Почему это важно
Это исследование закрывает пробел в понимании того, как именно «думают» латентные модели. Понимание того, что CODI работает как аттрактор, а COCONUT — как хаотическая система, дает инженерам конкретные инструменты для оптимизации. Вместо эмпирической подстройки гиперпараметров, разработчики теперь могут целенаправленно влиять на динамику системы (например, стабилизируя COCONUT или ускоряя сходимость CODI), что напрямую ведет к повышению качества и надежности сложных логических задач.
Источник: arXiv cs.AI ↗