Проблема: «Видеть» ≠ «Верить»
Медицинские модели зрения и языка (VLM) часто страдают от галлюцинаций: они сообщают о находке, потому что она названа в вопросе, а не потому, что видна на изображении. Стандартные бенчмарки не выявляют этот дефект. Авторы исследования ввели метрику Evidence Sensitivity Gap (ESG) — разницу между ответами модели на оригинальные снимки и снимки с искусственно удаленными патологиями. Высокий ESG означает, что модель «видит» то, чего нет.
Метод: Контрфактическое стирание (Counterfactual Lesion Erasure)
Вместо ручной разметки исследователи использовали inpainting для создания трех типов данных:
- Стирание: Патология удалена с помощью ИИ.
- Контроль: Патология перемещена в другую область того же размера.
- База: Исходные снимки без патологий.
На этих данных обучалась модель MedScope-4B (на базе Qwen3.5-4B с LoRA и инструментами работы с изображениями). Обучение проходило на траекториях, полученных из меток, с использованием предварительно зарегистрированных правил отбора.
Результаты: MedScope-4B против лидеров рынка
Тестирование на 507 внутренних случаях показало, что MedScope-4B радикально снижает ложные срабатывания, не теряя в точности на реальных патологиях. Ниже приведено сравнение способности модели игнорировать несуществующие находки (чем ниже процент, тем лучше):
| Модель | Доля ложных утверждений об удаленной патологии | ESG (Метрика устойчивости) |
|---|---|---|
| MedScope-4B | 9.6% | 0.758 |
| Frontier VLM (среднее) | 0.27% - 0.47% | Низкий (высокая чувствительность к тексту) |
| Open VLM (среднее) | 41% - 62% | Низкий |
Все различия статистически значимы (p<0.001). Без использования контрфактических данных ESG MedScope-4B падал до 0.279, что подтверждает эффективность метода обучения.
Ограничения и внешнее тестирование
Несмотря на успех в борьбе с галлюцинациями, MedScope-4B уступает лидерам в обнаружении реальных патологий. На внешнем тестовом наборе из 48 снимков пневмоторакса MedScope-4B не выявила ни одного случая, в то время как Gemini-4-argon показал положительную полезность. Это подчеркивает, что модель не улучшает «восприятие», а лишь добавляет «фильтр достоверности».
Вывод
Обучение на стертых и измененных изображениях дает малым моделям «диспозицию, ограниченную доказательствами» (evidence-gated disposition), которую невозможно достичь простым промптингом топовых моделей. Для критических находок требуется комбинированный подход, так как одна только фильтрация не покрывает все клинические сценарии.
Источник: arXiv cs.AI ↗