От KrillinAI к OpenCreator: новая архитектура
Проект, ранее известный как KrillinAI, официально переименован в OpenCreator. Это open-source AI-рабочее пространство, спроектированное для создателей контента, которые хотят сохранять приватность и контроль над данными. В отличие от облачных решений, OpenCreator работает локально, используя Codex CLI в качестве ядра для выполнения задач (Agent loop). Это позволяет повторно использовать модели, инструменты и навыки (Skills) без необходимости поддерживать собственный движок агентов.
Приложение доступно в виде десктопного клиента (Windows/macOS/Linux) и веб-интерфейса. Десктопная версия автоматически сканирует локальную конфигурацию Codex, предлагая использовать существующие ключи API или вход в ChatGPT, что упрощает настройку. Все данные, логи и файлы по умолчанию хранятся локально.
Масштаб локализации: 101 язык и 14 исходных
Ключевой функцией платформы является мощный модуль видео-локализации. Инструмент поддерживает перевод видео с 14 исходных языков на 101 целевой язык. Процесс включает транскрипцию (через облачные или локальные сервисы Whisper), сегментацию субтитров с помощью LLM, выравнивание и перевод. Пользователи могут настраивать двуязычные субтитры, озвучку (dubbing) или использовать кастомные образцы голоса.
| Параметр | Значение / Поддержка |
|---|---|
| Целевые языки перевода | 101 язык |
| Исходные языки видео | 14 языков (вкл. EN, RU, CN, ES, FR, DE, JP, KO и др.) |
| Движок транскрипции | Whisper (локально или облачно) |
| Форматы экспорта | SRT, аудио, видео (landscape/portrait) |
| Генерация видео | Seedance (по промпту и референсам) |
10 инструментов для создателей контента
В текущем релизе представлено 10 встроенных инструментов, охватывающих весь цикл создания контента: от написания сценариев до финального рендеринга. Среди них:
- Video Translation & Downloader: Загрузка видео с YouTube, Bilibili, TikTok, Instagram и др., с возможностью анализа форматов и скачивания.
- Smart Dubbing: Превращение текстовых сценариев в озвучку с контролем темпа и эмоций.
- Stick Figure Animation: Генерация анимации «палочковых человечков» по тексту или видео.
- Article Writer & Social Posts: Создание статей, постов для Xiaohongshu и сценариев для коротких видео.
- Image & Video Generation: Генерация изображений (GPT Image) и видео (Seedance) с возможностью референсов.
Архитектура Skills и Memory
OpenCreator разделяет визуальные инструменты и логику агентов через систему Skills. В репозитории доступны готовые навыки для видео-продакшена: Subtitle (скачивание/транскрипция/перевод), TTS (озвучка), Landscape/Portrait Render (рендеринг видео) и Pipeline Plan (валидация многоэтапных планов). Пользователи могут расширять функционал, добавляя собственные Skills.
Система также включает механизм Memory, который сохраняет глобальную, проектную и потоковую память с суммаризациями и снимками входных данных (snapshots), обеспечивая воспроизводимость результатов. Каждая редакция создает новую версию, сохраняя предыдущие настройки для сравнения.
Источник: Github ↗