Полный цикл генерации в один клик
Проект Animator (GitHub: ashishjamarkattel/Animator) автоматизирует создание whiteboard-видео. Пользователь вводит идею, а система самостоятельно выполняет пять этапов: генерация раскадровки, создание изображений, синтез речи, детекция объектов и финальная анимация. Ролик из 4–5 сцен формируется примерно за минуту.
Ключевая особенность — отсутствие необходимости в GPU. Тяжелые вычисления (генерация изображений и текста) делегируются Google Gemini, а локальный движок отрисовки работает на CPU, имитируя процесс рисования маркером.
Техническая архитектура
Процесс разделен на параллельные и последовательные шаги. Генерация изображений, озвучка и поиск регионов происходят одновременно, что ускоряет обработку. Локальный движок использует модель CRAFT для различения текста и фигур, а затем отрисовывает их штрих за штрихом.
| Этап | Инструмент/Модель | Действие |
|---|---|---|
| 1. Storyboard | Google Gemini | Создание сцен: одно предложение + одна иконка |
| 2. Images | Google Gemini (Image Model) | Генерация кадров в стиле 16:9 whiteboard |
| 3. Narration | Google Gemini (TTS) | Озвучка текста с фиксацией пауз для синхронизации |
| 4. Regions | Google Gemini | Поиск иконок на изображении и привязка к фразам |
| 5. Animation | Local CPU Engine + CRAFT | Отрисовка контуров и заливок в реальном времени |
Примеры и метрики
Проект демонстрирует способность генерировать сложные объяснительные видео без ручного монтажа. Ниже приведены результаты тестовых генераций:
| Тема видео | Количество сцен | Длительность |
|---|---|---|
| Einstein's Famous Equation (E=mc²) | 4 | 1:39 |
| How Photosynthesis Works | 5 | 1:50 |
| How Wings Create Lift | 5 | 1:36 |
Настройка и кастомизация
Для работы требуется Python 3.10+, FFmpeg и API-ключ Google AI Studio. Пользователь может управлять качеством видео (20fps/500k бит или 24fps/3000k бит), выбирать голос TTS и количество сцен. Стилистика рисования полностью настраивается через редактирование текстовых файлов в папке animator/prompts/ (например, image_style.txt или storyboard.txt), что позволяет менять тон и визуальный стиль без изменения кода.
Почему это важно
Animator снижает порог входа в создание образовательного и маркетингового контента. Интеграция локального движка отрисовки с облачными LLM позволяет получать качественный результат на любом оборудовании, избегая затрат на GPU-инференс для этапа анимации. Проект является форком masihsultani/whiteboard-animator, добавляя к нему полноценный AI-пайплайн.
Источник: Github ↗