Революция в детализации промптов
Новая модель WanPE от Wan Team решает главную проблему генеративного видео: потерю смысла при расширении коротких запросов. Вместо абстрактных описаний система генерирует режиссерский покадровый сценарий, детально расписывая движения объектов, траектории камеры, освещение и звуковое сопровождение для каждой сцены.
Модель обучена на датасете из 1.05 млн реальных видео, что позволило ей освоить сложные кинематографические приемы. Архитектура поддерживает генерацию видео длительностью от 5 до 30 секунд, сохраняя целостность нарратива.
Технология SC-GRPO и удержание семантики
Ключевым инновационным решением стала методика SC-GRPO (Semantic Consistency Group Relative Policy Optimization). Она гарантирует, что исходный замысел пользователя не размывается между кадрами. Модель не просто генерирует картинку, а выстраивает логическую цепочку событий, что критически важно для создания связных историй, а не просто набора кадров.
Результаты бенчмарков и сравнение с конкурентами
WanPE демонстрирует выдающиеся результаты в пользовательских предпочтениях, особенно в длинных видео. Система обходит коммерческие аналоги на коротких отрезках и становится конкурентом топовым решениям на длинных. Ниже приведены метрики улучшения предпочтений пользователей (Human Preference Score) по сравнению с базовыми моделями:
| Длительность видео | Прирост баллов (Wan3.0 + WanPE) | Сравнение с конкурентами |
|---|---|---|
| 5–15 секунд | +10.7 – 18.8 балла | Обходит коммерческие решения |
| 30 секунд | +50.9 балла | Конкурентен Seedance 2.5 |
Кросс-платформенная совместимость
WanPE позиционируется как универсальный «режиссерский модуль». Промпты, сгенерированные этой моделью, успешно переносятся на другие видео-генераторы, включая LTX-2.5 и MiniMax-H3. Это позволяет разработчикам использовать WanPE как слой абстракции, упрощающий работу с различными бэкендами.
Статус проекта
На данный момент проект находится в стадии активного развития. Ожидается скорый релиз open-source версии, что позволит сообществу интегрировать WanPE в свои пайплайны. Хэштеги проекта: #prompting, #PE, #directing.
Источник: Github ↗