Автоматизация калибровки и 3D-трекинг
Выход NVIDIA DeepStream 9.1 знаменует собой сдвиг в разработке систем видеоналитики для больших пространств. Ключевым нововведением стала интеграция двух модулей: AutoMagicCalib (AMC) и Multi-View 3D Tracking (MV3DT). AMC устраняет необходимость ручной настройки с помощью шахматных досок, автоматически вычисляя внутренние и внешние параметры камер на основе движения объектов. MV3DT, в свою очередь, объединяет данные с нескольких камер, присваивая одному и тому же объекту единый глобальный ID при переходе из зоны видимости одной камеры в другую.
Архитектура и поддерживаемые модели
Система MV3DT работает в распределенном режиме, используя протокол MQTT для обмена треками между камерами. Для детекции объектов в пайплайне по умолчанию поддерживаются три модели, каждая из которых оптимизирована под свои задачи:
| Модель детектора | Архитектура | Основное применение |
|---|---|---|
| PeopleNetTransformer | Transformer-based | Детекция пешеходов (по умолчанию) |
| PeopleNet v2.6.3 | DetectNet_v2 | Высокоэффективная детекция людей |
| RT-DETR 2D | Multi-class detector | Промышленные среды (погрузчики, люди) |
Процесс работы AutoMagicCalib
AMC работает как микросервис с веб-интерфейсом и REST API. Алгоритм проходит через несколько этапов: извлечение траекторий объектов, оценка внутренних параметров (фокусное расстояние, дисторсия) для каждой камеры отдельно, сопоставление треков между камерами и финальная оптимизация (bundle adjustment) для минимизации ошибки перепроекции. Пользователю достаточно предоставить карту помещения и указать несколько точек привязки. Для повышения точности при малом движении объектов опционально используется модель VGGT.
Вывод данных и интеграция
Результаты трекинга доступны в трех форматах: наложение на видео (OSD), вид сверху (Bird’s-Eye View) и структурированные данные через Kafka. Последнее позволяет легко интегрировать данные в downstream-системы, такие как системы безопасности или аналитики ритейла. Также DeepStream 9.1 поддерживает JetPack 7.2 для работы на edge-устройствах Jetson Orin и Thor.
Agentic Skills и доступность
Платформа теперь включает 13 agentic skills, позволяющих разработчикам создавать пайплайны с помощью естественного языка. Поддерживаются кодовые агенты, такие как Claude Code и Codex. Весь исходный код и референсные приложения доступны в открытом доступе на GitHub-репозитории NVIDIA DeepStream.
Источник: NVIDIA dev blog ↗