Суть технологии: от 2D к 3D-перспективе
Новый проект ComfyUI-CrossViewWarp решает проблему статичности генераций LTX-Video. Нода принимает исходное видео и заданные параметры смещения камеры, после чего строит depth-warp conditioning — карту глубины, которую ожидает LoRA-модель. Результатом становится видео, где объект перепроецируется в новую точку обзора, а зоны, невидимые оригинальной камерой, заполняются маджентой (magenta holes).
Это не просто фильтр, а полноценный инструмент для создания кинематографичных облетов вокруг объекта. Модель обучалась на IC-LoRA для LTX-Video 2.3 (22B), что позволяет сохранять высокую детализацию при смене ракурса.
Интерфейс и управление камерой
Разработчик внедрил встроенный виджет 3D-орбиты (сферу вокруг субъекта), исключающий необходимость ручного ввода углов. Визуализация зон обучения модели выполнена цветовой кодировкой:
| Параметр | Диапазон | Качество результата |
|---|---|---|
| Azimuth (Азимут) | ±45° | Идеально (зеленая зона) |
| Azimuth (Азимут) | ±65° | Удовлетворительно (желтая зона, деградация) |
| Elevation (Элевация) | +30° / -15° | Рекомендуемый диапазон |
| Distance (Дистанция) | Любая | Не работает корректно (баг датасета) |
Важно избегать углов, близких к нулю: если сдвиг камеры минимален, LoRA начинает вести себя нестабильно. Также отмечено, что параметр дистанции (distance) в текущей версии LoRA не работает ожидаемо из-за проблем с датасетом, что исправят в следующем релизе.
Ключфрейминг и анимация камеры
Для создания сложных движений (camera moves) используется правый клик по сфере для установки ключевых кадров. Нода интерполирует позу для каждого кадра клипа. Доступны два типа интерполяции:
- Linear: прямые линии с резкими поворотами в ключевых точках.
- Smooth: сплайн Catmull-Rom для плавного пролета.
Пользователь может вручную редактировать JSON-структуру ключевых кадров, задавая точные значения азимута, элевации и дистанции для каждого кадра. Это позволяет создавать сложные траектории, например, «раскачивание» камеры в начале клипа с последующей фиксацией.
Технические требования и оптимизация
Нода работает на базе NumPy и PyTorch, которые уже есть в ComfyUI. Для ускорения процесса перепроецирования (warp) рекомендуется установить пакет numba. Это позволяет JIT-компилировать цикл обработки пикселей, увеличивая скорость работы примерно в 10 раз.
| Компонент | Статус | Примечание |
|---|---|---|
| NumPy / PyTorch | Обязательно | Входят в базовую установку ComfyUI |
| Numba | Опционально | Ускоряет warp в 10x. Может конфликтовать с другими нодами из-за зависимостей llvmlite |
| Depth Anything V2 | Обязательно | Пакет kijai/ComfyUI-DepthAnythingV2 для получения карты глубины |
| VideoHelperSuite | Обязательно | Для загрузки и сохранения видео |
Разработчик предупреждает: установка numba может потребовать downgrade NumPy, что сломает другие кастомные ноды. Поэтому пакет не добавлен в requirements.txt автоматически.
Почему это важно
ComfyUI-CrossViewWarp демонстрирует переход от простой генерации видео к контролю над пространственной композицией. Возможность задавать траекторию камеры через 3D-виджет и интерполяцию делает этот инструмент мощным средством для создания рекламных роликов, облетов объектов и кинематографичных сцен без использования сложного 3D-софта. Однако текущие ограничения по дистанции и необходимость тонкой настройки ключевых кадров указывают на то, что проект находится в стадии Proof of Concept.
Источник: Github ↗