Возвращение к корням с современным подходом
Долгое время считалось, что Vision Transformers (ViT) вытеснили сверточные нейронные сети (CNN) в задачах компьютерного зрения. Однако архитектура ConvNeXt стала ответом на этот вызов. Исследователи из Meta AI (ранее Facebook AI Research) показали, что если правильно модернизировать классический CNN, он может превзойти или сравняться с трансформерами по точности, оставаясь при этом вычислительно более эффективным.
Ключевые архитектурные изменения
ConvNeXt не является новой архитектурой с нуля. Это результат систематического применения лучших практик из Vision Transformers к классическим CNN (в частности, к ResNet). Авторы выделили четыре основных направления модернизации:
- Увеличение размера ядра свертки: Замена стандартных 3x3 свертков на 7x7 для захвата более широкого контекста, аналогично механизму внимания в трансформерах.
- Упрощение блока: Удаление лишних слоев нормализации и активации, которые часто встречались в старых CNN, но были избыточными.
- Инверсия порядка операций: Перестановка слоев нормализации и активации внутри блоков, что улучшило сходимость модели.
- Использование Large Kernel Convolution: Применение свертков с большим ядром для имитации глобального рецептивного поля трансформеров.
Сравнение производительности
Главное достижение ConvNeXt — достижение состояния искусства (SOTA) на датасете ImageNet-1K. Модель ConvNeXt-Large показала результаты, сопоставимые с ViT-Huge, но при этом требует значительно меньше вычислительных ресурсов для инференса и обучения.
| Модель | Тип архитектуры | Top-1 Accuracy (ImageNet) | Вычислительная сложность (FLOPs) |
|---|---|---|---|
| ResNet-50 | Классический CNN | ~76.1% | Низкая |
| Vision Transformer (ViT-L) | Transformer | ~85.5% | Высокая |
| ConvNeXt-Large | Модернизированный CNN | ~87.8% | Средняя/Высокая (ниже, чем у ViT-Huge) |
Почему это важно для индустрии
ConvNeXt стирает границу между двумя парадигмами. Для разработчиков это означает, что можно использовать более простые и предсказуемые в отладке CNN-модели, получая при этом точность, ранее доступную только через сложные трансформеры. Это упрощает развертывание моделей на edge-устройствах и в системах реального времени, где задержка критична.
Источник: Towards AI pub ↗