Суть открытия: Визуальное мышление без картинок
Новое исследование, представленное на arXiv, ставит под сомнение традиционное разделение между текстовыми и мультимодальными моделями. Авторы доказывают, что мультимодальное обучение не просто добавляет способность «видеть» изображения, но и перестраивает геометрию скрытых состояний (hidden-state space) самой языковой модели. Это приводит к феномену Emergent Vision-Shaped Thinking (EVT) — возникновению пространственного мышления, которое используется моделью даже при обработке исключительно текстовых данных.
Методология: Каузальные аблиации
Для проверки гипотезы команда Qi Zhang провела серию целевых каузальных аблиаций (удаления компонентов) на 10 конфигурациях мультимодальных моделей из 6 семейств. Ключевым инструментом стало выделение «визуально-языковой оси» в пространстве скрытых состояний и её последующее отключение во время инференса. Это позволило изолировать влияние визуальных представлений от общей сложности задачи или глубины рассуждений.
Ключевые метрики: Разрыв в точности
Наиболее яркие результаты получены на модели Chameleon-7B. Отключение проекции визуальной оси привело к драматическому падению точности в задачах на пространственную навигацию (BIG-Bench Hard, задача 'navigate'), в то время как логические операции остались нетронутыми или даже улучшились. Это создает четкую двойную диссоциацию, доказывающую специфичность влияния.
| Метрика / Задача | Результат после аблиации (Chameleon-7B) | Интерпретация |
|---|---|---|
| BBH Navigate (Навигация) | -27.6 pp (пунктов процента) | Критическая зависимость от визуальных представлений |
| Boolean Expressions (Логика) | +5.6 pp | Независимость от визуальной оси, возможная оптимизация |
| Двойная диссоциация | 33.2 pp | Доказательство специфичности визуального вклада |
Где именно «живет» зрение в модели?
Эффект не является глобальным. Исследователи обнаружили, что влияние локализовано в конкретных слоях сети (7-8B конфигурации) и имеет направление-специфичный характер. В моделях с двумя путями обработки, таких как BAGEL и Janus-Pro, причинно-следственная связь («causal handle») сосредоточена в пути генерации, выступая в виде компактного одномерного носителя. Путь понимания также кодирует пространственную информацию, но в более высокой размерности, и не является основным драйвером принятия решений.
Почему это важно для индустрии
Результаты объясняют, почему поведение модели, её способность к декодированию (probing) и результаты вмешательств могут расходиться. Мультимодальное обучение формирует внутреннюю «карту» мира, которая используется для пространственных симуляций: ментального вращения, складывания бумаги и смены перспективы. Это означает, что для создания более умных текстовых моделей (LLM) необходимо не просто увеличивать объем текста, но и интегрировать мультимодальные данные на этапе обучения, так как они формируют фундаментальную структуру рассуждений.
Источник: arXiv cs.AI ↗
