Революция в контроле камеры
Команда разработчиков представила CameraAnything — фреймворк, решающий главную проблему существующих методов: необходимость дорогой 3D-реконструкции или жесткие ограничения на тип редактирования. В отличие от предшественников, CameraAnything позволяет одновременно управлять как экстинсивными (положение камеры), так и интринсивными (фокусное расстояние, разрешение) параметрами в рамках одного процесса генерации.
Ключевая техническая инновация — использование перепиксельной инъекции лучей Плейккера (Plücker ray injection) в сочетании с 3D RoPE, зависящей от разрешения. Это позволяет модели точно кодировать пространственное положение камеры и фокусное расстояние непосредственно в латентном пространстве, избегая необходимости кадрирования или outpainting (дорисовки краев).
Возможности и метрики
Модель демонстрирует способность к сложным сценариям редактирования, которые ранее были невозможны или требовали ручной работы. Ниже приведено сравнение возможностей CameraAnything с базовыми методами (TrajectoryCrafter, ReCamMaster) на основе предоставленных данных:
| Функция | CameraAnything | TrajectoryCrafter | ReCamMaster |
|---|---|---|---|
| Управление траекторией (экстинсивы) | Да (плавное и мульти-шот) | Да (но падает при широком угле) | Да |
| Изменение фокусного расстояния | Да | Нет | Нет |
| Адаптация разрешения/соотношения сторон | Да (без outpainting) | Нет | Нет |
| Мульти-шот переходы | Да | Нет | Нет |
| Генерация первого кадра с новой точки | Да | Информация недостаточна | Нет (зависит от исходного кадра) |
Решение проблемы данных
Одной из главных трудностей при обучении таких моделей является нехватка парных данных (исходное видео + целевая камера). Авторы разработали масштабируемый пайплайн синтетических данных, используя Unreal Engine 5. Была создана структурированная многокамерная запись, генерирующая синхронизированные видео с различными конфигурациями камеры, фокусными расстояниями и переходами между кадрами (multi-shot transitions).
Практическое применение
CameraAnything открывает новые возможности для кинематографического монтажа и адаптации контента под разные платформы. Пользователи могут:
- Создавать плавные движения камеры или резкие монтажные склейки из одного непрерывного кадра.
- Имитировать смену объектива (изменение поля зрения) без потери качества.
- Автоматически конвертировать видео в любые соотношения сторон (16:9, 9:16, 1:1) без потери ключевых объектов.
Проект опубликован в ECCV 2026, код и веса модели доступны на Hugging Face и GitHub.
Источник: Github ↗