Прорыв в эффективности: точность без компромиссов
Монокулярная оценка глубины (Monocular Depth Estimation) долгое время страдала от дилеммы: тяжеловесные foundation-модели (такие как Depth Anything v2-Large) обеспечивают высокую точность, но требуют серверных GPU, тогда как легковесные аналоги часто теряют качество при смене домена (domain shift). Исследователи представили ZipDepth — компактную сеть с всего 6.1 млн параметров и 3.0 GMACs вычислений, которая решает эту проблему.
Ключевая инновация заключается в использовании крупномасштабной дистилляции знаний от модели Depth Anything v2-Large на наборе из 14.1 млн изображений, охватывающих 17 различных доменов. Это позволило ZipDepth достичь лучших показателей zero-shot точности среди легковесных моделей на пяти ключевых бенчмарках (NYUv2, KITTI, ETH3D, ScanNet, DIODE), приблизившись к точности моделей с 50-кратным объемом параметров.
Архитектура: репараметризация и дистилляция
ZipDepth использует четырехэтапный иерархический энкодер с репараметризуемыми сверточными блоками. На этапе инференса эти блоки сливаются в обычные свертки, что исключает необходимость в кастомных операторах и обеспечивает чистый экспорт для любого оборудования. Декодер применяет аппаратно-адаптивное выпуклое апсемплинг, сохраняющее границы глубины.
Обучение проводилось end-to-end на двух GPU NVIDIA RTX 3090 в течение трех дней. Модель использует масштабированную и сдвиг-инвариантную цель оптимизации, аналогичную MiDaS и Depth Anything v2.
Производительность: от серверов до мобильных устройств
Главное преимущество ZipDepth — универсальность развертывания. Модель демонстрирует выдающиеся результаты на устройствах с жесткими ограничениями по энергопотреблению. На NVIDIA Jetson Orin NX (15 Вт) модель потребляет всего 397 мДж на кадр, что укладывается в бюджет <2.5 Дж для embedded-режима, обеспечивая 77 FPS.
Ниже приведено сравнение производительности ZipDepth на различных платформах при разрешении 384×384:
| Устройство | ТТХ (TDP) | Бэкенд | Задержка | FPS | Ускорение vs Eager |
|---|---|---|---|---|---|
| NVIDIA RTX 3090 | 350 W | TensorRT FP16 | 0.8 ms | 1317 | 5.1× |
| RTX 3070 Laptop | 140 W | TensorRT FP16 | 1.3 ms | 773 | 3.1× |
| Jetson Orin NX | 50 W | TensorRT FP16 | 3.2 ms | 196 | 4.3× |
| Jetson Orin NX | 15 W | TensorRT FP16 | 13.1 ms | 77 | 2.9× |
| AMD EPYC 7443 | 200 W | ORT CPU, NPU-path | 13.4 ms | 75 | 1.5× |
| Intel i7-11800H | 45 W | PyTorch JIT Frozen | 20.5 ms | 48.9 | 1.2× |
| iPad Pro M4 | ~10 W | CoreML ANE, NPU-path | 1.4 ms | 715 | 4.0× |
| iPhone 12 | ~5 W | CoreML ANE, NPU-path | 2.7 ms | 375 | 9.4× |
| Xiaomi Poco X3 NFC | ~5 W | TFLite GPU FP16 | 62.5 ms | 16 | 1.5× |
Почему это важно для индустрии
ZipDepth открывает путь к внедрению продвинутого компьютерного зрения в устройства с низким энергопотреблением без необходимости облачных вычислений. Способность работать в реальном времени на iPhone 12 (375 FPS) и Jetson Orin NX (77 FPS при 15 Вт) делает технологию применимой для:
- AR/VR очков и мобильных устройств: мгновенная оценка глубины для пространственного позиционирования.
- Беспилотных платформ и дронов: навигация в условиях ограниченной вычислительной мощности.
- Робототехники: обработка визуальных данных в реальном времени на edge-устройствах.
Исследование опубликовано в материалах конференции ECCV 2026 авторами Fabio Tosi, Luca Bartolomei, Matteo Poggi и Stefano Mattoccia. Код модели доступен на GitHub.
Источник: Github ↗