Рынок компьютерного зрения переживает очередную революцию — NVIDIA представила C-RADIOv4, единую архитектуру, способную решать сразу несколько задач: классификацию, сегментацию и dense-предсказания. На фоне громких обещаний раньше, реальность оказалась сложнее: модели зачастую не справлялись с одновременной высокой точностью и стабильностью. Но интерфейсный бэкенд NVIDIA устранил эту проблему через инновационные методы обучения и балансировки моделей.
Главная идея — создать один универсальный «мост», поддерживающий многообразие задач и разрешений. За этим стоит так называемая агломеративная дистилляция — обучение студента на нескольких учителях: SigLIP2 для языкового понимания, DINOv3-7B для плотных признаков и SAM3 для сегментации. Такой подход позволяет моделям учиться параллельно, избегая переобучения и артефактов.
Обучение включает стратегии с разными разрешениями входных данных — от 128 до 1152 пикселей, с алгоритмами, устраняющими шумы и артефакты границ. В итоге модель достигает 55,20 mIoU на базе ADE20k при 512 пикселях, демонстрируя стабильность и качество. Важный момент — применение shift-equivariant методов, которые помогают избежать ошибок типа «галлюцинации» и сделать модель более устойчивой к шумам.
Появились новые способы балансировки «учителей»: нормализация их векторных окрасок, чтобы избежать доминирования тех, кто выступает с широкими или узкими концептуальными зонами. Это обеспечило успешное управление качеством эмбеддингов и улучшение как языкового, так и плотностного представления.
В результате C-RADIOv4 не только превосходит предшественников по точности 83,09% в классификации и по плотностным метрикам, но и демонстрирует хорошую адаптивность для высокой разрешающей способности. Благодаря совместимости с декодером SAM3 и поддержке оконной внимания, его легко интегрировать в высокотехнологичные системы, такие как ViTDet, с возможностью настройки на любые задачи и ресурсы.
Ключевые преимущества — это единая архитектура для разных сценариев, устойчивость к шумам, балансировка моделей и способность работать в реальном времени на больших разрешениях. NVIDIA открыла модель под лицензией Open Model, предлагая разработчикам полноценный доступ и ресурсы для внедрения инноваций.