Проблема больших углов обзора
Создание кинематографичных видео с персонажами требует точного контроля камеры. Существующие методы часто терпят неудачу при больших углах поворота (орбита, наклон), теряя идентичность героя или нарушая геометрию сцены. Авторы решения WorldCast предлагают новый подход, сочетающий геометрическое руководство с масштабно-выровненной памятью (GAMA), что позволяет сохранять целостность персонажа даже при сложных траекториях, таких как «восьмерка» или полный оборот на 360° с приближением.
Архитектура и данные
В основе системы лежит модель Wan2.1-I2V-14B (flow-matching). Ключевые компоненты:
- CLACT Benchmark: Новый датасет из 80 000 синтетических образцов (50K UE5 + 30K Blender) и 42 сцен для оценки, сфокусированный именно на персонажах.
- Scale-Aligned Geometric Guidance: Начальный кадр преобразуется в 3D-облако точек с калиброванной глубиной, что дает модели точные RGB-подсказки и маски покрытия.
- Geometry-Aligned Memory Attention (GAMA): Выравнивание многовидовых якорей в общей системе координат через алгоритм Умейямы для извлечения релевантных признаков персонажа.
Результаты: Лидерство по метрикам
WorldCast демонстрирует лучшие результаты по точности камеры (ATE) и сохранению идентичности (ArcFace) по сравнению с 12 другими методами. Ниже приведено сравнение ключевых метрик в категории «Camera-Controlled Generation»:
| Метод | ATE ↓ (Точность) | MEt3R ↓ (Геометрия) | ArcFace ↑ (Идентичность) | IQ ↑ (Качество) |
|---|---|---|---|---|
| WorldCast (Ours) | 0.065 | 0.228 | 0.555 | 0.719 |
| Uni3C | 0.098 | 0.324 | 0.374 | 0.711 |
| GEN3C | 0.130 | 0.306 | 0.433 | 0.716 |
| Lyra 2.0 | 0.142 | 0.316 | 0.394 | 0.725 |
| CamI2V | 0.351 | 0.405 | 0.147 | 0.686 |
Примечание: ATE и MEt3R — чем меньше, тем лучше. ArcFace и IQ — чем больше, тем лучше.
Практическое применение
Система поддерживает различные траектории: орбита 180°/360°, наклон, зум-аут, лемниската. WorldCast позволяет генерировать видео из одного входного кадра и многовидовых якорей, обеспечивая стабильность персонажа в сценах с животными, объектами и аниме-стилистикой. Исследование опубликовано в arXiv (2610.33135) в 2026 году.
Бенчмарки
| Бенчмарк | WorldCast | DepthDirector | GEN3C | Lyra 2.0 | MVGenMaster | MVGenMaster ⋆ | Uni3C |
|---|---|---|---|---|---|---|---|
| CLACT ATE | 0.065absolu | — | 0.13absolu | — | 0.125absolu | — | 0.098absolu |
| CLACT MEt3R | 0.228absolu | — | 0.306absolu | 0.316absolu | — | 0.301absolu | — |
| CLACT ArcFace | 0.555simila | 0.423simila | 0.433simila | 0.394simila | — | — | — |
Жирным — лучший результат в строке. Источник цифр — официальная публикация.
Источник: Github ↗