От анализа к действию: новая парадигма видеоаналитики
Компания NVIDIA опубликовала руководство по интеграции контекстно-зависимых видео AI-агентов в корпоративные рабочие процессы. Ключевое отличие нового подхода заключается в переходе от простого ответа на вопрос «Что показывает видео?» к автоматическому выполнению действий: «Что делать с этой информацией и как координировать это действие в масштабе предприятия?».
Решение объединяет три основных компонента:
- NVIDIA Metropolis Blueprint (VSS): для поиска по видео, генерации субтитров и визуальных метаданных.
- NVIDIA AI Blueprint (RAG): для индексации корпоративных документов (инструкции, регламенты, SOP) в GPU-ускоренное векторное хранилище.
- NVIDIA NemoClaw: коллекция открытых blueprints для создания автономных агентов, которые оркеструют взаимодействие между видеоаналитикой и бизнес-приложениями.
Архитектура агента: три инструмента для принятия решений
Система использует подход Human-in-the-loop (HITL) для захвата намерения пользователя до начала обработки. Агент взаимодействует с пользователем через терминал, уточняя сценарий, события и объекты для отслеживания. После этого запускается цепочка из трех инструментов:
| Инструмент | Функция | Результат |
|---|---|---|
| Long Video Summary (LVS) | Анализ длинных видео с обязательным сбором параметров через HITL | Иерархическое резюме видео, привязанное к интересам пользователя |
| Knowledge Retrieval (frag) | Вызов RAG Blueprint для поиска в корпоративных базах знаний | Извлечение релевантных документов, политик и справочных данных |
| Report Generation | Формирование структурированного отчета с временными метками | Нарративный анализ с цитированием источников и рекомендациями |
Демонстрация: от видео о еде до тикета в Jira
В качестве кейса NVIDIA описала сценарий «тренера здорового питания». Пользователь загружает видео приготовления еды, а система автоматически:
- Извлекает контекст из базы знаний (например, нормы потребления нутриентов).
- Анализирует видео, сопоставляя увиденное с регламентами.
- Генерирует отчет с временными метками и рекомендациями.
- Автоматически создает тикет в Jira с приоритетом и назначением ответственного.
Этот процесс можно масштабировать: агенты способны создавать тикеты, эскалировать аномалии, формировать сводки по множеству источников и передавать данные в любые downstream-системы (CRM, ERP, системы управления инцидентами).
Почему это важно для бизнеса
Проблема, которую решает NVIDIA, — разрозненность систем. Видеоаналитика, базы знаний и операционные инструменты (тикет-системы, мессенджеры) обычно не связаны. NemoClaw устраняет этот разрыв, позволяя AI-агенту:
- Понимать намерение пользователя через интерактивные промпты.
- Извлекать контекст из закрытых корпоративных данных.
- Генерировать структурированные отчеты с цитированием.
- Запускать автоматические действия в других системах без участия человека.
Решение позиционируется как шаг к созданию «всегда активных» доменно-специализированных агентов, которые работают безопаснее, быстрее и дешевле существующих ручных процессов анализа видео.
Источник: NVIDIA dev blog ↗