От квантовой физики к компьютерному зрению
Методы тензорных сетей, изначально разработанные для моделирования квантовых многочастичных систем, нашли практическое применение в машинном обучении. Авторы работы Michal A. Sterzel и Marko J. Rančić представили TT-Net — архитектуру условного генеративно-состязательного нейронного сети (Conditional GAN), которая заменяет стандартные блоки денуазинга на основе сингулярного разложения (SVD) на тензорные поезда (Tensor Trains), также известные как матричные произведения состояний (Matrix Product States).
Ключевое отличие: доступ к кросс-канальной информации
Традиционные подходы, такие как SVD-Net, применяют разложение как одномерное «сечение» (single-cut) для каждого канала изображения отдельно. TT-Net использует двухразрезное разложение (two-cut decomposition), что позволяет модели напрямую взаимодействовать с информацией между каналами. Это устраняет главный недостаток предыдущих методов, игнорирующих корреляции между цветовыми каналами на этапе сжатия признаков.
Результаты бенчмарков
В контролируемом сравнении, где различался только механизм разложения, TT-Net продемонстрировал превосходство над SVD-Net по метрикам PSNR (Peak Signal-to-Noise Ratio) и SSIM (Structural Similarity Index) на всех трех типах шума. Кроме того, метод показал лучшие результаты, чем EigenGAN и state-of-the-art Pix2pix, который не использует линейно-алгебраические разложения.
| Метрика / Модель | Gaussian Noise | Motion Blur | Salt-and-Pepper |
|---|---|---|---|
| TT-Net (предлагаемый) | Лучший результат | Лучший результат | Лучший результат |
| SVD-Net (базовый) | Ниже TT-Net | Ниже TT-Net | Ниже TT-Net |
| EigenGAN | Ниже TT-Net | — | — |
| Pix2pix (SOTA) | Ниже TT-Net | — | — |
Аномалия в динамике обучения
Анализ динамики обучения выявил интересный феномен: термин состязательной потери (adversarial loss) в TT-Net быстро насыщается и застывает в стагнации для всех типов шума, причем сильнее, чем в SVD-Net. При этом качество реконструкции (восстановления изображения) продолжает расти. Это ставит открытый вопрос о реальной вкладу состязательной компоненты в итоговое качество очистки, который авторы отмечают, но не решают в данной работе.
Значение для индустрии
Работа демонстрирует, что инструменты, вдохновленные квантовой физикой, могут быть использованы как эффективные фильтры признаков в глубоком обучении. Переход от одномерных SVD-сечений к многомерным тензорным структурам открывает путь к более эффективному сжатию и очистке данных с сохранением сложных межканальных зависимостей.
Источник: arXiv cs.AI ↗