Фоновые шорткаты разрушают метрики
Глубокие нейросети демонстрируют пугающую зависимость от фона при распознавании бронетехники. На классическом датасете MSTAR модель ConvNeXt-Small сохраняет точность 73,3% (при шансе 10%), если центральные 96x96 пикселей с техникой полностью обнулить. Это означает, что сеть «угадывает» тип машины по ландшафту, а не по её силуэту.
Новый бенчмарк ATRNet-STAR, созданный для усложнения задачи, также подвержен этому эффекту. В сценарии с 40 классами (SOC split) точность падает до 63,3% (шанс 2,5%) при удалении объекта. Однако при смене сцены (scene-change split) фон начинает мешать: точность на полных чипах составляет 22,8%, а при показе только техники — 30,8%.
Фундаментальные модели не решают проблему
Специализированная SAR-модель SARATR-X, позиционируемая как более продвинутая, оказалась ещё более зависимой от фона. При удалении техники её точность возрастает на +4...+6 пунктов по сравнению с ConvNeXt, что подтверждает: модель не научилась выделять объект, а просто запоминает контекст. Проблема смены сцены не решена.
Угловые разрывы важнее объема данных
Эксперименты с фиксированным объемом данных показали, что ключевым фактором является разница между углом съемки обучения и тестирования. Точность резко падает с увеличением разрыва:
| Угловой разрыв (Gap) | Точность распознавания | Примечание |
|---|---|---|
| 15 градусов | 57% | Высокая надежность |
| 30 градусов | 39% | Средняя надежность |
| 45 градусов | 26% | Критический спад |
Добавление новых углов съемки в обучающую выборку не помогает преодолеть этот разрыв. Более того, если в тестовой выборке есть классы, для которых нет обучающих изображений под нужным углом, их точность падает до 9,0% (вместо 22,4% в сбалансированном случае), так как модель ошибочно относит их к известным классам.
Рекомендации для индустрии
Авторы статьи призывают пересмотреть стандарты валидации SAR-моделей. В качестве обязательных метрик предлагаются:
- Отчетность о точности на «фоне только» (background-only controls).
- Отчетность о точности на «объекте только» (target-only controls).
- Обязательное указание углового разрыва (angle gap) рядом с любой цифрой точности.
Код для воспроизведения экспериментов опубликован в открытом доступе.
Источник: arXiv cs.AI ↗
