Проблема изолированных задач
Существующие системы обнаружения оползней часто работают в изоляции, требуя огромных объемов размеченных данных и не способны к глубокому анализу сцены. Авторы из Университета (авторы: Shanwen Wang, Sirui Wang, Xin Sun, Jungong Han) предлагают решение — LandslideFM, первую фундаментальную модель (Foundation Model), которая связывает визуальное восприятие с контекстуальной интерпретацией.
Архитектура и метод обучения
Модель использует два ключевых技术创新:
- Source-Agreement Graduated Trust: Полунезависимая система обучения, которая эффективно использует ограниченные размеченные данные вместе с большим объемом неразмеченных изображений.
- Визуально-языковое взаимодействие: Предсказанные области оползней служат пространственным ориентиром для адаптированной Vision-Language Model (VLM). Это позволяет модели не просто «видеть» оползень, но и «понимать» его контекст через параметрически эффективное дообучение (PEFT).
Новый бенчмарк LandslideVL
Для оценки модели исследователи создали LandslideVL — первый специализированный бенчмарк, сочетающий визуальные изображения с новыми текстовыми промптами. Это позволяет оценивать не только точность детекции, но и способность модели к логическому выводу.
Результаты и значимость
Эксперименты на публичных наборах данных и LandslideVL показали, что LandslideFM превосходит как специализированные модели детекции, так и общие-purpose VLM в задачах специализированного анализа сцен оползней. Код модели опубликован для открытого использования.
| Характеристика | Традиционные модели | LandslideFM |
|---|---|---|
| Тип задачи | Изолированная детекция | Единое восприятие и понимание |
| Использование данных | Только размеченные | Размеченные + неразмеченные (полунезависимое обучение) |
| Анализ контекста | Отсутствует | Глубокий анализ через VLM |
| Бенчмарк | Стандартные метрики IoU | LandslideVL (визуальные + текстовые промпты) |
Источник: arXiv cs.AI ↗