Суть открытия: Суперпозиция как корень уязвимостей
Команда Second Look (Xijia Che, Zephaniah Roe) провела репликацию ключевых выводов работы Stevenson et al. на реальных архитектурах Vision Transformer (ViT), а не на упрощенных автоэнкодерах. Главная гипотеза подтвердилась: суперпозиция — явление, когда модель пытается закодировать больше признаков, чем позволяет размерность латентного пространства, — создает интерференцию. Эта интерференция предсказуемо направляет adversarial-атаки, заставляя их «бить» в геометрические слабые места классов.
Методология: Искусственный бутылочное горлышко
Для контроля суперпозиции исследователи внедрили в ViT (12 слоев) специальный слой перед классификационной головой. Выходной токен сжимается линейным энкодером до размерности m, а затем декодером расширяется обратно для получения логитов. Когда m < k (где k — число классов), строки декодера вынуждены перекрываться, создавая измеримую интерференцию. Эксперименты проводились на четырех датасетах: CIFAR-10, CIFAR-100, STL-10 и Tiny-ImageNet.
Ключевые метрики и результаты
Атаки генерировались методом PGD (Projected Gradient Descent). Исследователи измеряли корреляцию между профилем в пространстве входных данных и профилем в латентном пространстве. Чем выше корреляция, тем сильнее атака опирается на интерференцию признаков. Результаты по датасету CIFAR-10 при изменении силы weight decay (который также ограничивает эффективную размерность) приведены ниже:
| Weight Decay | Clean Accuracy (наша модель) | Effective Dimensions (m̄) | Interference Magnitude (наша модель) | Interference Magnitude (оригинал) |
|---|---|---|---|---|
| 0.1 | 0.92 ± 0.00 | 24 ± 3 | 0.09 ± 0.03 | 0.14 |
| 0.3 | 0.85 ± 0.00 | 12 ± 0 | 0.15 ± 0.04 | 0.27 |
| 0.6 | 0.77 ± 0.00 | 10 ± 0 | 0.35 ± 0.04 | 0.40 |
| 0.7 | 0.75 ± 0.00 | — | 0.41 ± 0.01 | 0.68 |
| 1.5 | 0.62 ± 0.06 | — | 0.55 ± 0.07 | 0.79 |
| 2.0 | 0.47 ± 0.01 | — | 0.66 ± 0.04 | 0.79 |
Как видно из таблицы, при росте weight decay чистая точность падает, а интерференция монотонно растет. Это подтверждает, что сужение эффективной размерности напрямую усиливает уязвимость.
Атаки независимы от алгоритма
Критики могли утверждать, что корреляция является артефактом использования градиентов как для атаки, так и для измерения. Однако команда проверила Square Attack (черный ящик, без градиентов) и CW Attack (поиск минимального возмущения). На всех типах атак наблюдался один и тот же тренд: чем туже «бутылочное горлышко», тем выше корреляция между атакой и геометрией латентного пространства. Это доказывает, что уязвимость заложена в самой структуре модели, а не в методе генерации атак.
Парадокс adversarial training
Дополнительный эксперимент с adversarial training (AT) выявил интересный факт: хотя робастная точность выросла примерно в 5 раз, метрики интерференции и эффективной размерности не изменились. Это означает, что AT не «выпрямляет» геометрию признаков, делая их ортогональными. Вместо этого он, вероятно, укрепляет основные признаки (backbone features), делая их устойчивыми к возмущениям, но не устраняя саму причину интерференции.
Значение для индустрии
Работа Second Look предоставляет эмпирическое доказательство того, что суперпозиция — это не просто теоретический артефакт, а практический механизм, объясняющий природу adversarial-примеров в современных компьютерных зрении. Понимание этой связи позволяет разрабатывать более надежные архитектуры, контролируя размерность латентных представлений на этапе проектирования, а не только через пост-тренировочную защиту.
Источник: LessWrong ↗