Революция в монтаже: текст вместо пикселей
Команда Browser Use представила video-use — инструмент с открытым исходным кодом, который позволяет редактировать видео, взаимодействуя с ним через текстовые транскрипты, а не через анализ визуального ряда. Проект интегрируется с Claude Code, Codex, Hermes и другими агентами, имеющими доступ к оболочке (shell access).
Суть подхода проста: пользователь загружает сырой материал в папку, а LLM-агент выполняет монтаж на основе структурированных данных. Это решает главную проблему видео-моделирования — колоссальное потребление токенов при попытке «увидеть» каждый кадр. Вместо 45 миллионов токенов шума (при расчете 30 000 кадров × 1 500 токенов), система использует компактный текстовый файл (~12 КБ) и выборочные изображения.
Архитектура: два слоя восприятия
Система работает по принципу «текст + визуализация по запросу». LLM никогда не смотрит видео напрямую. Вместо этого используются два слоя данных:
- Слой 1: Аудиотранскрипт (всегда загружен). С помощью API ElevenLabs Scribe создается файл
takes_packed.mdс пословными таймкодами, диаризацией говорящих и аудио-событиями (смех, аплодисменты, вздохи). - Слой 2: Визуальный композит (по запросу). Генерируется PNG-файл (кинолента + волна + метки слов) только в спорных моментах: при выборе дубля, проверке точки склейки или выявлении артефактов.
Автоматизация и метрики качества
Процесс монтажа полностью автоматизирован и включает цикл самопроверки. Агент не просто режет, но и оценивает результат до его показа пользователю. Ключевые функции включают:
- Удаление слов-паразитов: автоматическое вырезание «эм», «эээ» и пауз.
- Цветокоррекция: применение фильтров (cinematic, neutral punch) через ffmpeg.
- Аудио-сглаживание: 30-миллисекундные фейды на каждом склейке для устранения щелчков.
- Субтитры и анимация: встраивание субтитров в заданном стиле и генерация оверлеев через HyperFrames, Remotion или Manim.
Технические детали и сравнение подходов
Важно отметить, что система не делает предположений о типе контента. Она работает по принципу «спроси → подтверди → выполни → оцени».
| Параметр | Традиционный подход (Vision LLM) | Video-use (Text-First) |
|---|---|---|
| Основной источник данных | Потоковое видео / Кадры | Текстовый транскрипт (~12 КБ) |
| Объем токенов (примерно) | 45M+ (30k кадров × 1.5k токенов) | Минимальный (текст + редкие PNG) |
| Точность склеек | Низкая (зависит от качества распознавания кадров) | Высокая (пословные таймкоды ElevenLabs) |
| Контроль качества | Ручной или сложный авто-ревью | Self-eval на каждом этапе склейки |
Как запустить
Для использования требуется установка ffmpeg и ключ API от ElevenLabs. Установка осуществляется через клонирование репозитория и создание симлинков в директории навыков вашего AI-агента (например, ~/.claude/skills/video-use). После настройки агент готов к работе: достаточно указать папку с видео, и он выдаст файл final.mp4 в папке edit/.
Разработчики также анонсировали облачную версию сервиса, регистрация в листе ожидания доступна на сайте video-use.com.
Источник: Github ↗