От статичных клипов к бесконечным симуляциям
Runway представила GWM Worlds 2, эволюцию своей предыдущей модели GWM Worlds. Ключевое отличие новой версии — переход от генерации фиксированных видеороликов к созданию бесконечных, интерактивных сред. Модель работает в режиме реального времени, генерируя видео с разрешением 720p при 24 кадрах в секунду и аудио с частотой дискретизации 48 000 Гц. Это позволяет пользователям не просто просматривать контент, а «проживать» его, управляя миром через текстовые инструкции.
Архитектура WorldPrompt: два слоя управления
В основе системы лежит формат WorldPrompt, который разделяет состояние мира на два слоя:
- Постоянный контекст (Persistent World Context): Включает «генезисный» промпт (описание окружения, материалов, освещения, звуковой атмосферы), описание субъектов (персонажей, их внешности и способностей) и физические законы (гравитация, коллизии, камера).
- Поток событий (Timestamped Event Stream): Последовательность действий с таймкодами, адресованных конкретным субъектам или всей сцене. Действия могут накладываться друг на друга, включая речь, движение и взаимодействие с объектами.
Технические характеристики и производительность
Модель GWM Worlds 2 построена на базе авторегрессионной диффузионной архитектуры. В отличие от бидирекциональных моделей, она не ограничена фиксированной длительностью клипа и может генерировать контент бесконечно долго, кэшируя прошлые кадры для сохранения пространственной согласованности.
| Параметр | Значение / Характеристика |
|---|---|
| Разрешение видео | 720p |
| Частота кадров | 24 fps |
| Частота аудио | 48,000 Hz |
| Тип генерации | Авторегрессионная (Real-time) |
| Управление | Текстовые действия, движение камеры, речь |
| Длительность сессии | Без ограничений (бесконечная) |
Сценарии использования: от игр до робототехники
Runway демонстрирует три режима взаимодействия с миром:
- Режим выжившего (Survivor): Пользователь управляет персонажем от первого лица (бег, удары копьем, питье воды), а мир реагирует физически корректно.
- Режим режиссера (Director): Пользователь меняет параметры сцены (погода, освещение, поведение NPC) через текстовые команды, не контролируя напрямую камеру.
- Совместный режим: Игрок управляет персонажем, а режиссер одновременно меняет окружение (например, закат сменяется звездным небом, пока герой бежит).
Технология позиционируется как фундамент для создания виртуальных персонажей, симуляций для обучения робототехники (embodied-agent simulation) и интерактивных интерфейсов будущего. Модель обучалась на данных, где речь персонажей синхронизирована с движением губ и интонацией, что открывает возможности для создания живых NPC в играх.
Источник: Runway ↗