NVIDIA DeepStream 9.1: Agentic AI, 13 навыков и 3D-трекинг

Автоматизация через Agentic AI

Главное нововведение DeepStream 9.1 — интеграция 13 agentic-навыков, позволяющих языковым моделям (Claude Code, Codex, Cursor) самостоятельно собирать конвейеры видеонаблюдения. Разработчики теперь могут описать задачу на естественном языке, и агент автоматически настроит инфраструктуру, запустит контейнеры и подключит брокеры сообщений. Это сокращает путь от идеи до работающего пайплайна.

Мультикамерный 3D-трекинг (MV3DT)

Модуль MV3DT решает проблему дублирования ID объектов при переходе между камерами. Он проецирует обнаруженные объекты из разных камер в единую 3D-систему координат, используя данные калибровки. Поддерживаются три модели обнаружения:

• PeopleNetTransformer — для пешеходов;
• PeopleNet v2.6.3 — высокая эффективность;
• RT-DETR 2D — для людей, погрузчиков и транспорта.

Результаты выводятся в OSD, виде с видом сверху (BEV) и через Kafka в формате protobuf.

Автокалибровка камер (AutoMagicCalib)

Инструмент AMC устраняет необходимость ручной калибровки с помощью шахматных досок. Он анализирует видеопоток, извлекает траектории объектов и вычисляет внутренние (фокусное расстояние, искажения) и внешние (поворот, позиция) параметры камер. Процесс включает 5 этапов, включая.bundle adjustment и опциональную доработку через VGGT.

Сравнение версий и поддержка оборудования

Версия 9.1 расширяет поддержку аппаратного обеспечения и упрощает развертывание. Ниже приведено сравнение ключевых характеристик:

Практическое применение

Обновление ориентировано на складскую логистику (отслеживание рабочих и погрузчиков), ритейл (анализ поведения покупателей без ошибок re-ID) и умные города. Все данные готовы к интеграции с дашбордами через Kafka, что делает платформу актуальной для промышленного внедрения.

Источник: MarkTechPost ↗