Проблема видеоданных и решение TwelveLabs
Современные пользователи и профессионалы накапливают огромные объемы видеоархивов, но найти в них конкретные моменты становится все сложнее. Традиционные методы поиска по метаданным или ручному просмотру неэффективны. TwelveLabs решает эту проблему, выпуская Jockey — первый видеоинтеллектуальный агент, способный понимать контекст, связывать события и возвращать не просто текст, а сами видеомоменты.
Технологический стек: Marengo и Pegasus
Jockey не является новой моделью с нуля, а представляет собой интеграцию двух ключевых технологий компании, работающих в связке:
- Marengo: модель эмбеддинга, которая находит моменты в видео на основе их смыслового содержания (семантический поиск).
- Pegasus: видеоязыковая модель (Video LLM), которая описывает и понимает происходящее внутри кадров, обеспечивая глубокое понимание контекста.
Ключевые возможности агента
Пользователи могут задавать вопросы своей библиотеке видео и изображений так, как они думают: по людям, действиям, объектам или контексту. Jockey способен:
- Находить лучшие моменты для монтажа из часовых записей.
- Анализировать эволюцию визуального стиля в маркетинговых кампаниях.
- Объединять разрозненные кадры в логические цепочки.
Сравнение подходов к работе с видео
| Критерий | Традиционный подход | Jockey (TwelveLabs) |
|---|---|---|
| Поиск | По тегам, датам, именам файлов | По смыслу, контексту и действиям (естественный язык) |
| Результат | Список файлов или текстовое описание | Конкретные видеомоменты с возможностью воспроизведения |
| Анализ | Требует ручного просмотра каждого кадра | Автоматическое связывание событий и анализ библиотеки |
Для кого создан Jockey
Продукт ориентирован на создателей контента, маркетинговые команды, продакшн-студии, спортивные организации и компании в сфере робототехники. Jockey уже доступен для использования на платформе twelvelabs.io/jockey. Пользователи могут загрузить папку с видео и начать взаимодействие с архивом через диалоговый интерфейс.
Источник: Twelvelabs ↗