Новый вектор атаки на эмбеддинги
Контрастивное обучение и сиамские сети стали основой современных систем верификации (биометрия, проверка подлинности). В отличие от классических нейросетей, они принимают решения не на основе дискретных границ классов, а через реляционную геометрию в пространстве эмбеддингов. Традиционные атаки, нацеленные на ошибки классификации, здесь бессильны. Исследователи из группы Fei Zhao, Peiyuan Zhang и других авторов предложили метод, атакующий саму структуру сходства: они раздвигают положительные пары (одинаковые объекты) и сближают отрицательные (разные), полностью инвертируя логику работы модели.
Механизм: от онлайн-оптимизации к офлайн-генератору
Ключевая проблема существующих методов — вычислительная сложность. Чтобы создать атаку, обычно требуется итеративная оптимизация градиентов в реальном времени. Авторы предлагают обходной путь: обучение легковесного feed-forward генератора. Этот модуль предварительно изучает паттерны деформации геометрии эмбеддингов (offline stage). В момент атаки генератор создает возмущения за один проход (single forward pass), что позволяет атаковать системы верификации в реальном времени без запросов к градиентам жертвы.
Результаты на Markmatch
Эксперименты показали катастрофическое снижение надежности систем. На тестовой архитектуре Markmatch атака не просто снизила точность, но и полностью разрушила организацию сходства в многообразии. Ниже приведена сравнительная метрика эффективности атаки:
| Метрика | До атаки | После атаки | Изменение |
|---|---|---|---|
| Точность верификации (Accuracy) | 95,4% | 38,6% | −56,8 п.п. |
| Структура сходства | Корректная | Полностью инвертированная | Критическая |
Почему это важно
Результаты демонстрируют, что безопасность современных AI-систем, основанных на сравнении векторов (face recognition, document verification), уязвима на фундаментальном уровне. Если атака способна инвертировать реляционную геометрию, система начинает считать чужое «своим» и наоборот. Это требует пересмотра подходов к защите: от простой добавления шума к внедрению механизмов проверки целостности самого пространства эмбеддингов.
Источник: arXiv cs.AI ↗