Проблема: шум и вариативность форм
Сегментация поражений (lesions) в медицинских изображениях критически важна для диагностики, но сталкивается с двумя главными препятствиями: сложным фоном и разнообразием морфологии образований. Существующие методы на базе энкодер-декодер часто фокусируются только на извлечении признаков, игнорируя раннюю предварительную обработку и переконфигурацию признаков на этапе кодирования.
Решение: Архитектура FreNet
Команда авторов (Yinan Liu, Jiankang Hong, Zhen Gao, Ye Lu) предложила FreNet — фреймворк переконфигурации признаков с визуальными приорами. Ключевые инновации:
- IPNN (Implicit Prior Neural Network): Моделирует непрерывное пространственное поле и использует визуальные приоры из SAM (Segment Anything Model) для переконфигурации входного изображения до этапа кодирования. Это эффективно подавляет фоновые шумы.
- DFR (Dual-domain Feature Reconfiguration): Модуль переконфигурации признаков в двух доменах (частотном и пространственном) во время кодирования. Он включает:
- Frequency Decoupling Module (FDM): Разделяет признаки в частотной области для улучшения различимости «передний план/фон».
- Spatial Localization Module (SLM): Пространственно перемещает признаки для повышения стабильности после частотного разделения.
Результаты: Лидерство на бенчмарках
Метод протестирован на 9 наборах данных по сегментации медицинских изображений (три модальности). FreNet демонстрирует значительное превосходство над текущими состояниями искусства (SOTA) и базовой моделью SAM, особенно на сложных датасетах.
| Датасет / Метрика | FreNet (предложенный метод) | Лучший SOTA | SAM (Segment Anything) |
|---|---|---|---|
| ETIS (сложный датасет) | +5.0% Dice vs SOTA +7.2% Dice vs SAM |
Базовый уровень | Базовый уровень |
| Общий обзор (9 датасетов) | Значительное улучшение метрик | Превосходит | Превосходит |
Почему это важно
Интеграция мощных визуальных приоров из SAM (через IPNN) на самом раннем этапе обработки позволяет модели «понимать» структуру изображения до того, как начнется глубокое кодирование. Это решает проблему «загрязнения» признаков фоновым шумом, что особенно актуально для медицинских задач, где контраст между поражением и тканью часто минимален.
Источник: arXiv cs.AI ↗