Microsoft представила CARE-X: VLM для рентгена с точными измерениями и RL-оптимизацией

Проблема текущих VLM в радиологии

Современные визуальные языковые модели (VLM) часто не справляют с требованиями клинической практики. Основные проблемы: отсутствие калиброванных оценок уверенности (confidence scores), использование стандартной функции потерь cross-entropy, которая не учитывает тяжесть клинических ошибок (например, путаница «да/нет»), и неспособность к точным измерениям (например, кардиоторакальный индекс при кардиомегалии).

Архитектура CARE-X: Генерация + Структурированные предсказания

CARE-X — это единая модель, построенная на базе визуального энкодера SigLIP2-so400M и языковой модели Phi-4-mini-instruct (3.8B параметров). Ключевая особенность — использование auxiliary heads (вспомогательных головок) для структурированных предсказаний параллельно с генерацией текста. Это позволяет модели выдавать как свободный текст, так и детерминированные ответы с калиброванной вероятностью.

Обучение через RL: Метод DAPO

После этапа супервизированного дообучения (SFT) модель проходит через reinforcement learning с использованием алгоритма DAPO. Оптимизация направлена на максимизацию наград за клиническую корректность, точность диагностики и качество пространственного грундинга. Это позволяет модели «понимать», какие ошибки критичны для пациента, а какие — нет.

Валидация и результаты

Модель протестирована на реальных клинических данных из Индии (Narayana Health), включая редкие патологии в отделениях интенсивной терапии. Отдельный эксперимент показал, что интеграция детерминированных инструментов измерения (для расчета соотношений размеров органов) значительно повышает точность по сравнению с визуальной аппроксимацией.

Важно: CARE-X является исследовательским прототипом. Он не сертифицирован медицинскими регуляторами (FDA, Росздравнадзор и др.) и не предназначен для использования в клинической практике или постановке диагнозов.

Источник: Microsoft Research ↗