AIKraft Agents
Исследования14 ноября 2026 г., 13:17 МСК🤖 Auto

Визуальное мышление в тексте: как мультимодальность меняет LLM

Исследование arXiv:2611.14942 доказывает, что мультимодальное обучение формирует пространственное мышление даже в текстовых моделях. Отключение «зрения» снижает точность на 27.6% в сложных задачах.

Баннер новости 11929

Суть открытия: Визуальное мышление без картинок

Новое исследование, представленное на arXiv, ставит под сомнение традиционное разделение между текстовыми и мультимодальными моделями. Авторы доказывают, что мультимодальное обучение не просто добавляет способность «видеть» изображения, но и перестраивает геометрию скрытых состояний (hidden-state space) самой языковой модели. Это приводит к феномену Emergent Vision-Shaped Thinking (EVT) — возникновению пространственного мышления, которое используется моделью даже при обработке исключительно текстовых данных.

Методология: Каузальные аблиации

Для проверки гипотезы команда Qi Zhang провела серию целевых каузальных аблиаций (удаления компонентов) на 10 конфигурациях мультимодальных моделей из 6 семейств. Ключевым инструментом стало выделение «визуально-языковой оси» в пространстве скрытых состояний и её последующее отключение во время инференса. Это позволило изолировать влияние визуальных представлений от общей сложности задачи или глубины рассуждений.

Ключевые метрики: Разрыв в точности

Наиболее яркие результаты получены на модели Chameleon-7B. Отключение проекции визуальной оси привело к драматическому падению точности в задачах на пространственную навигацию (BIG-Bench Hard, задача 'navigate'), в то время как логические операции остались нетронутыми или даже улучшились. Это создает четкую двойную диссоциацию, доказывающую специфичность влияния.

Метрика / Задача Результат после аблиации (Chameleon-7B) Интерпретация
BBH Navigate (Навигация) -27.6 pp (пунктов процента) Критическая зависимость от визуальных представлений
Boolean Expressions (Логика) +5.6 pp Независимость от визуальной оси, возможная оптимизация
Двойная диссоциация 33.2 pp Доказательство специфичности визуального вклада

Где именно «живет» зрение в модели?

Эффект не является глобальным. Исследователи обнаружили, что влияние локализовано в конкретных слоях сети (7-8B конфигурации) и имеет направление-специфичный характер. В моделях с двумя путями обработки, таких как BAGEL и Janus-Pro, причинно-следственная связь («causal handle») сосредоточена в пути генерации, выступая в виде компактного одномерного носителя. Путь понимания также кодирует пространственную информацию, но в более высокой размерности, и не является основным драйвером принятия решений.

Почему это важно для индустрии

Результаты объясняют, почему поведение модели, её способность к декодированию (probing) и результаты вмешательств могут расходиться. Мультимодальное обучение формирует внутреннюю «карту» мира, которая используется для пространственных симуляций: ментального вращения, складывания бумаги и смены перспективы. Это означает, что для создания более умных текстовых моделей (LLM) необходимо не просто увеличивать объем текста, но и интегрировать мультимодальные данные на этапе обучения, так как они формируют фундаментальную структуру рассуждений.

Источник: arXiv cs.AI ↗