От кода к видео: как работает Claude Motion
Claude Motion — это набор инструментов (toolkit), который превращает языковые модели в дизайнеров движения. В отличие от стандартных генераторов видео, этот проект использует агентов (Claude Code, Cursor, Codex) для написания кода, который затем рендерится в видео. Ключевая особенность — наличие встроенной системы самопроверки: агент не просто генерирует файл, он анализирует «контактные листы» (контакты с отдельными кадрами), проверяет на коллизии, читаемость текста и соблюдение безопасных зон, прежде чем считать задачу выполненной.
Инструмент поддерживает два основных сценария:
- Моушн-графика: Использование API Remotion для создания анимаций на базе React.
- Веб-симуляции: Рендеринг 3D-сцен (на базе Three.js) в виде HTML-страниц, которые затем захватываются по кадрам через Headless Chromium в видео 60 fps.
Технические детали и метрики
Система обеспечивает точное попадание в ритм (frame-exact capture) и синхронизацию звука. Звуковой движок написан на чистом Python (stdlib), не использует сэмплы и лицензионные материалы, а генерирует эффекты (тиканье, удары, шумы) алгоритмически. Итоговый звук мастерится автоматически до уровня −14 LUFS с ограничением true peak на уровне −2 dBFS.
Для рендеринга симуляций используется следующий пайплайн:
| Параметр | Значение / Технология |
|---|---|
| Частота кадров | 60 fps |
| Разрешение (пример) | 1440×1800 px (настраиваемое) |
| Движок рендеринга | Headless Chromium + ffmpeg |
| Язык звукового движка | Python 3 (stdlib) |
| Уровень громкости | −14 LUFS (стандарт для веба) |
| Требования к среде | Node 20+, Python 3, ffmpeg |
Архитектура работы агента
Процесс создания видео строго структурирован и управляется через файл timeline.json, который связывает сцены, звук и этапы проверки. Агент работает по следующему алгоритму:
- Сторборд и таймлайн: Агент создает структуру и назначает имена каждому бибу (beat).
- Генерация сцен: Создание кода для визуальных элементов.
- Генерация звука: Написание cue sheet (списка звуковых эффектов) и их синтез.
- Самопроверка (Review Loop): Рендеринг черновика, создание контактного листа, проверка на ошибки (например, вылеты за пределы кадра) и исправление.
- Финальный рендер: Сборка MP4 файла.
Практическое применение и примеры
Проект демонстрирует способность агентов создавать сложные визуальные эффекты без участия человека в процессе анимации. В галерее представлены работы, созданные одним промптом и одной правкой:
- Crawler Swarm: Симуляция роя из 256 агентов, удваивающихся в такт музыке (более 340K просмотров в X).
- Rocket Engine Explorer: 3D-визуализация двигателя с возможностью «пролета» камеры и разбора на детали (exploded view).
- User Dossier: Анимированная презентация данных по одному юзернейму.
Для разработчиков доступен режим npm run studio для живого превью и инструменты для анализа волновых форм. Лицензия кода — MIT, однако библиотека Remotion, используемая для рендеринга, требует коммерческой лицензии для компаний, превышающих определенный порог дохода.
Источник: Github ↗