Что такое Reshoot 4D
Инструмент Reshoot 4D от разработчика itsmetamike трансформирует обычное видео в 4D-захват, сохраняя 3D-геометрию сцены, движение объекта и траекторию оригинальной камеры. Ключевая особенность — полная интеграция в ComfyUI: каждый шаг обработки представлен как узел, что позволяет гибко настраивать workflow. Финальные кадры генерируются с помощью модели LTX 2.3, обеспечивая фотореалистичный результат.
Контроль камеры и оптика
Разработчики внедрили профессиональные инструменты режиссуры, доступные на каждом ключевом кадре (keyframe). Пользователь может управлять:
- Параметрами объектива: диафрагма (aperture), фокус (focus), виньетирование и зернистость (grain) для эффекта rack focus.
- Импортом камер: поддержка форматов
.fbx,.abcи.usdиз Blender или других 3D-редакторов. Камера импортируется с исходной позицией, линзами и фокусом. - Эффектами: хроматическая аберрация, bloom, гало (halation) и аноморфный боке (anamorphic bokeh) настраиваются для каждого кадра.
Технические характеристики и ограничения
Инструмент работает локально на машинах с CUDA. Поддерживается рендеринг в разрешении до 4K и частоте кадров от 24 до 60 fps с motion blur. Однако есть важные ограничения, связанные с природой генеративного видео:
| Параметр | Описание |
|---|---|
| 3D-мир | Отсутствует. Генерируется только то, что не видела исходная камера. Объекты вне кадра могут меняться при новом ракурсе. |
| Быстрое движение | Может вызывать артефакты (smearing) на лицах или конечностях при быстрых вращениях. |
| Зависимости | Требует установки ReDirector, LTX 2.3 и ComfyUI. Опционально: Blender для импорта камер. |
Почему это важно
Reshoot 4D решает проблему «плоского» видео, позволяя режиссерам и VFX-художникам менять ракурсы после съемки, не прибегая к сложной 3D-моделированию сцены. Захват 4D становится переиспользуемым активом, готовым для использования в других видео-моделях с 3D-условиями. Проект распространяется под лицензией AGPL-3.0, а веса моделей открыты.
Источник: Github ↗