Проблема: разрыв между объемом данных и разметкой
Ежегодно выполняется более 2,3 миллиарда рентгеновских исследований, однако пиксельная разметка доступна лишь для узкого набора проекций. Главная сложность заключается в том, что 3D-анатомия сжимается в 2D-проекцию, где органы накладываются друг на друга, а угол съемки и настройки сканера радикально меняют вид одной и той же области. Традиционные методы обучения требуют огромных размеченных датасетов, которых не хватает.
Решение: синтез через CT и FLUX.2
Команда MIT разработала метод FleXray, который обходит проблему нехватки данных. Алгоритм работает в два этапа:
- Генерация DRR: Размеченные 3D-объемы КТ (компьютерной томографии) проецируются в цифровые реконструированные радиодографы (DRR) с рандомизацией углов, кадрирования и геометрии детектора.
- Fluxification: «Чистые» DRR-изображения обрабатываются моделью FLUX.2 от Black Forest Labs. Это добавляет реалистичный шум, вариации экспозиции, коллимацию и маркеры, делая синтетику неотличимой от реальных рентгеновских снимков для нейросети.
Результаты: сравнение с лидерами
Модель протестирована на 8 реальных датасетах (кисти, локти, позвоночник, таз, грудная клетка и др.), которые не использовались при обучении. FleXray демонстрирует среднюю метрику Dice на уровне 0.875, что сопоставимо с nnU-Net, обученными на специфичных данных каждого датасета (0.914), и превосходит другие общие модели.
| Метод | Средний Dice (8 датасетов) | Примечание |
|---|---|---|
| FleXray (MIT) | 0.875 | Generalist baseline, без дообучения |
| nnU-Net (in-domain) | 0.914 | Специализированная сеть, обученная на данных датасета |
| TotalSegmentator2D | ~0.80-0.82* | Ниже FleXray на 7 из 8 датасетов |
| PAXray | ~0.75-0.78* | Значительно ниже |
| FluoroSAM | ~0.70-0.75* | Значительно ниже |
*Значения оценочные на основе утверждения, что FleXray достигает наивысшего Dice среди generalist baselines на 7 из 8 датасетов.
Практическое применение: сколиоз и навигация
Особый интерес представляет применение модели в клинических задачах без дополнительного обучения (zero-shot):
- Измерение сколиоза (угол Кобба): FleXray вычисляет угол с ошибкой 5.13°. Это ниже межэкспертной вариабельности (6–7°) и значительно лучше TotalSegmentator2D (6.38°), PAXray (24.9°) и FluoroSAM (31.8°). Ошибка не превышает внутриэкспертную вариабельность (3–5°).
- 2D/3D регистрация: При совмещении рентгена и КТ в интервенционной хирургии добавление сегментации FleXray снизило частоту сбоев регистрации с 86% до 13% (при ручной инициализации) и с 7% до 3.3% (при инициализации от foundation-модели). Медианная ошибка упала с 335 мм до 1.2 мм.
Доступность и технические детали
Модель работает локально в браузере через WebGPU/WebAssembly, не отправляя данные на сервер. Доступны четыре режима качества:
- Low: Флагманская модель, 1 проход (~194 МБ).
- Normal: Флагман + 8-проходная аугментация времени тестирования (TTA).
- High: Ансамбль из 5 моделей (~776 МБ).
- X-High: Ансамбль + TTA (максимальная точность).
Разработчики подчеркивают, что это исследовательский демо-проект, а не медицинское устройство, и результаты не должны использоваться для диагностики.
Источник: Mit ↗