От кадров к физике: новая парадигма
Традиционный подход к видео-AI ограничивался анализом пикселей. Авторы исследования предлагают рассматривать видео как частичное, необратимое во времени наблюдение за эволюционирующим миром. Главная проблема современных моделей — не в рендеринге реалистичных кадров, а в способности моделировать скрытые физические процессы, которые стоят за ними. Пример: если машина скрывается за стеной, человек знает, что она продолжает движение, но модель часто теряет этот контекст.
Четыре операции взаимодействия с миром
Исследование структурирует поле вокруг четырех ключевых операций, которые связывают наблюдаемое видео (V) и скрытое состояние мира (W):
- Reading (Чтение): Вывод свойств мира из видео (семантика, физика, причинность). Оценивается точность и калиброванная неопределенность.
- Writing (Запись): Генерация видео на основе условий (текст, аудио, траектории). Оценивается соответствие условию и физическая согласованность.
- Sharing (Обмен): Объединение понимания и генерации в одной модели через общие токены или латентные пространства.
- Interacting (Взаимодействие): Прогноз эволюции среды под действием агента, что критично для планирования.
Конвергенция технологий: от Sora к Cosmos
Границы между ранее разрозненными сообществами стираются. Модели генерации начинают принимать действия как условия, а модели понимания — учиться синтезу. Ниже представлены ключевые игроки в каждой категории, упомянутые в обзоре:
| Направление | Ключевые модели/проекты | Ключевая особенность |
|---|---|---|
| Video Understanding | Video-LLaVA, Qwen3-VL | Контекст до 256K токенов, диалог с видео |
| Video Generation | Sora, Wan, HunyuanVideo, Movie Gen, Seedance 2.0 | Генерация минутных клипов с контролем |
| Unified Models | Emu3, Show-o, UniVideo | Общие токены/латенты для понимания и синтеза |
| World Models | Genie, GAIA, Cosmos, V-JEPA 2, Dreamer 4 | Прогноз изменений среды и поддержка планирования |
Почему это важно?
Наличие латентного вектора не гарантирует, что модель восстановила физическое состояние мира. Разрыв между внутренним представлением модели ($s_t$) и реальным состоянием мира ($w_t$) — это новая фронтальная линия исследований. Успешные «видео-модели мира» должны не просто угадывать следующий кадр, а предсказывать эволюцию среды, что открывает путь к созданию автономных агентов, способных к сложному планированию в физических условиях.
Источник: Towards AI pub ↗