AIKraft/AI/Поиск…⌘KВойти
Релиз модели8 октября 2026 г., 01:49 МСК🤖 Auto

WeftCut: AI-агент управляет видеоредактором через MCP в реальном времени

Появился WeftCut — первый опенсорсный NLE, где интерфейс сам становится инструментом для AI-агентов. Редактор работает через протокол MCP, позволяя моделям типа Claude выполнять сложные монтажные операции напрямую.

AIРедакция AIKraftавто-обзор источников
2 мин чтения·источник: Github
Поделиться
Баннер новости 9156

Революция в интерфейсе: редактор как API

WeftCut — это не просто плагин с кнопкой «Сгенерировать видео». Это полноценная нелинейная система монтажа (NLE), где весь функционал экспортируется через локальный сервер MCP (Model Context Protocol). Это позволяет внешним AI-агентам (например, на базе Claude или Point Codex) управлять монтажом так же, как это делает человек: накладывать клипы, обрезать их, менять ключевые кадры и стилизовать графику в реальном времени.

Ключевое отличие от существующих решений: агент не работает с «черным ящиком». Каждое действие записывается в панель Agent, а все изменения можно откатить. Архитектура построена так, что «интеллект» живет вне приложения — установщик не содержит весов моделей, а локальные движки для распознавания речи и зрения подключаются опционально.

Технический стек и производительность

Проект сочетает мощь Rust для нативных вычислений и современные веб-технологии для UI. Видеодекодирование и рендеринг происходят с использованием GPU (WebGPU/WebGL) и аппаратного ускорения, а экспорт обрабатывается через FFmpeg с поддержкой современных кодеков.

Компонент Технологии Особенности
Ядро (Native) Rust, Tokio, napi-rs 3 Высокая производительность, работа с памятью, IPC
UI/Shell Electron 44, React 19, TypeScript 7 Кроссплатформенность, современный стек
Видеодекодер FFmpeg (LGPL), WebCodecs Аппаратное и программное декодирование, YUV→RGB шейдеры
Экспорт FFmpeg (GPL), WebCodecs H.264, HEVC, AV1, стриминговый мультиплексинг
AI-интеграция MCP SDK, Whisper.cpp, FunASR Локальный или облачный STT/TTS, опциональная загрузка

Уникальная фича: Motifs (Код как видео)

В WeftCut реализована концепция Motifs — графических элементов, написанных на коде (HTML, CSS, SVG, Canvas). В отличие от статичных пресетов, Motif рендерится как чистая функция времени. Это означает, что AI-агент может сгенерировать новую анимированную графику (титры, тикеры, нижние трети) «на лету», а редактор гарантирует, что при перемотке или экспорте пиксели будут идентичны, так как «часы» контролирует сам редактор, а не страница.

Возможности для AI-агентов

Агент имеет доступ к широкому спектру инструментов через MCP. Вот основные категории операций, которые может выполнять модель:

  • Монтаж: trim_layer, split_layer, ripple_delete_gap, создание групп и композиций.
  • Аудио: Анализ пауз (detect_pauses), управление уровнями по ролям (диалог, музыка, SFX), шумоподавление.
  • Анализ контента: Определение границ кадров (auto_split_by_shot), оценка яркости/резкости, описание содержимого клипа через vision-модели.
  • Титры и речь: Транскрипция (transcribe_clip), синтез речи (synthesize_speech), наложение субтитров.
  • Безопасность: Поддержка dry_run (прогон изменений на копии) и set_history_lock для предотвращения конфликтов при работе нескольких агентов.

Статус проекта

WeftCut находится в активной разработке. На данный момент доступны установщики для Windows и Linux. Для macOS требуется ручное разрешение запуска из непроверенного источника в настройках безопасности. Проект полностью открыт на GitHub, и разработчики приглашают сообщество к тестированию и улучшению UX до выхода версии 1.0.0.

Источник: Github ↗