OncoTriad-QA: Новый стандарт мульти-модального анализа рака

Проблема изолированных модальностей

Современные медицинские LLM и VLM часто тестируются на узких задачах, где анализируется только один тип данных (например, только снимки или только текст). Однако реальная онкологическая диагностика требует интеграции разрозненных доказательств: визуальных данных, клеточной морфологии и молекулярных профилей. Авторы работы подчеркивают, что существующие бенчмарки не способны оценить способность моделей к рассуждению на уровне конкретного пациента (patient-level reasoning).

Масштаб и структура OncoTriad-QA

Новый датасет OncoTriad-QA создан на основе данных 9 281 пациента из 32 когорт рака (TCGA). Он содержит 86 100 семантических вопросов, требующих синтеза информации из нескольких источников. Для создания аннотаций использовался конвейер с участием LLM, где первичными источниками истины служили клинические отчеты, молекулярные профили и данные модальностей, с последующей проверкой клиническими экспертами.

Ключевые компоненты датасета включают:

• Радиология: КТ и МРТ снимки.
• Патология: Гистопатология целых слайдов (whole-slide histopathology).
• Геномика: Соматические мутации, изменения числа копий (CNA), метилирование ДНК и данные bulk RNA-seq.
• Клинические данные: Метаданные пациентов.

Введение модели OncoVLM

Вместе с датасетом представлена модель OncoVLM — мультимодальная система, которая преобразует нативные данные радиологии, патологии, метилирования ДНК и RNA-seq в интерфейс LLM с помощью обученных проекторов. Это позволяет модели "видеть" и "читать" все типы данных одновременно.

Результаты бенчмарка

Эксперименты показали, что существующие общие и медицинские LLM демонстрируют ограниченные результаты при комплексном анализе рака. После дообучения (fine-tuning) на OncoTriad-QA, модель OncoVLM значительно превзошла базовую модель MedGemma-4B. Прирост составил в среднем 10.7 баллов по метрикам точности множественного выбора (MCQ) и BERTScore-F1. Улучшения были стабильными как в задачах с множественным выбором, так и в открытых вопросах, независимо от того, какие модальности были доступны (только радиология, только патология или все данные).

Значение для отрасли

OncoTriad-QA демонстрирует критическую необходимость перехода от узкоспециализированных медицинских ИИ к комплексным системам, способным интегрировать геномные, радиологические и гистологические данные. Это открывает путь к созданию более точных инструментов поддержки принятия клинических решений в онкологии.

Источник: arXiv cs.CL ↗