Прорыв в мультимодальности: от двух модальностей к трем
Большинство современных систем анализа медицинских временных рядов (MedTS) ограничиваются бинарным взаимодействием: «числа + текст». Однако клиническая практика требует комплексного подхода, включающего визуальный осмотр. Авторы работы, опубликованной на KDD 2026, предлагают архитектуру MedTVL (Medical Time Series Vision-Language), которая впервые эффективно синергирует три модальности: временные ряды, визуальные представления и клинический текст.
Архитектура: Два пути к точности
MedTVL использует двойной путь обработки (dual-pathway), где каждый путь специализируется на своей задаче, но управляется единым текстовым контекстом:
- Временной путь (Temporal Pathway): Основан на сверточных сетях (CNN). Он анализирует сырые числовые последовательности, улавливая тонкие временные динамики и локальные паттерны.
- Визуальный путь (Visual Pathway): Основан на архитектуре Transformer. Он обрабатывает изображения, полученные из временных рядов, чтобы захватить глобальные морфологические структуры и общую картину состояния пациента.
Ключевая инновация — адаптивное руководство медицинским текстом. Текстовые семантики (например, диагнозы или симптомы) динамически корректируют работу обоих путей, снижая диагностическую неоднозначность.
Механизм смешения экспертов (MoE)
Для объединения результатов двух гетерогенных путей используется механизм Mixture-of-Experts (MoE). Он работает как интеллектуальный маршрутизатор:
- Система оценивает каждый конкретный клинический случай (instance).
- На основе этого анализа она динамически распределяет вес между выводами временного и визуального путей.
- Это позволяет модели адаптироваться к случаям, где, например, визуальная картина важнее числовых колебаний, или наоборот.
Решение проблемы дефицита данных
Одной из главных проблем в медицине является нехватка размеченных данных. MedTVL внедряет мультимодальное контрастное обучение (multimodal contrastive learning). Это позволяет модели обучаться на неразмеченных или слабо размеченных данных, улучшая обобщающую способность и устойчивость к шуму.
Результаты и значимость
Эксперименты проводились в трех режимах: контролируемое обучение (supervised), обучение с малым количеством примеров (few-shot) и контрастное обучение. MedTVL продемонстрировал превосходство над существующими бинарными методами, подтверждая свою переносимость (transferability) на различные медицинские датасеты. Это открывает путь к созданию более надежных систем поддержки врачебных решений, имитирующих мышление опытного клинициста.
Источник: arXiv cs.AI ↗