Проблема «взрослых» данных в неонатологии
Неонатальные респираторные заболевания остаются ведущей причиной заболеваемости и смертности среди новорожденных. Однако существующие мультимодальные большие языковые модели (MLLM) неэффективны в этой сфере из-за двух ключевых ограничений: доминирования данных взрослых пациентов в обучающих выборках и недостаточной интеграции многомерного клинического контекста. Это создает серьезный разрыв между возможностями ИИ и реальными потребностями неонатологии.
Решение: Архитектура Knowledge-Logic-Alignment (KLA)
Команда разработчиков во главе с Инаном Лю предложила модель NeoRed, которая использует новую фреймворк KLA для ограничения поведения модели с трех сторон:
- Knowledge Prior Injection (KPI): Внедрение диагностических приоритетов, вдохновленных практикой неонатологов, в мультимодальные представления. Это направляет внимание модели на специфические для заболеваний признаки.
- Diagnostic Logic Constraint (DLC): Выравнивание семантики генерируемых отчетов с логикой мультимодальной диагностики, исключая противоречия.
- Visual Semantic Alignment (VSA): Установление семантической связи между визуальными признаками (рентген) и выводами в тексте.
Новые датасеты NeoCXR
Для обучения и тестирования исследователи собрали два реальных клинических датасета: NeoCXR и NeoCXR-EV. Эти наборы данных заполняют пробел в генерации диагностических отчетов для новорожденных, предоставляя модель релевантным контекстом, недоступным в стандартных «взрослых» наборах данных.
Результаты и метрики
NeoRed демонстрирует высокую точность в генерации диагностических отчетов. Модель превосходит существующие MLLM на неонатальных данных, сохраняя при этом конкурентоспособные результаты на стандартных бенчмарках для взрослых пациентов (MIMIC-CXR и IU-Xray).
| Метрика | Результат NeoRed | Значение |
|---|---|---|
| ROUGE-L (NeoCXR) | 53.29% | Показатель качества генерации текста |
| Clinical Efficacy F1 | 65.19% | Клинически значимая точность диагностики |
Исследование подчеркивает важность специализированных моделей для узких медицинских областей, где универсальные решения часто терпят неудачу из-за специфики данных.
Источник: arXiv cs.AI ↗