LingBot-World 2.0: Открытая модель мира с бесконечной генерацией видео

Решение проблемы дрейфа и бесконечная генерация

Команда Robbyant представила LingBot-World-Infinity (LingBot-World 2.0), архитектурно отличающуюся от предыдущих версий. Главная инновация — устранение двух критических проблем генеративных моделей: long-horizon drift (дрейф качества при длительной генерации) и высокой интерактивной задержки. Модель использует причинную факторизацию, где каждый кадр зависит только от предыдущих состояний и текущего действия пользователя, что позволяет генерировать видео неограниченно долго.

Архитектура MoBA и обучение

В основе лежит механизм Mixture of Bidirectional and Autoregressive (MoBA) Attention Mask. Стандартные авторегрессионные модели склонны «зацикливаться» на контексте, что ведет к деградации визуального качества. MoBA добавляет блок двунаправленного внимания как регуляризатор. Обучение проходит в два этапа:

• Pre-training: Оптимизация через conditional flow-matching с rectified-flow interpolation.
• Post-training: Дистилляция с использованием Distribution Matching Distillation (DMD) на длинных траекториях самопрогона (self-rollout), что фиксирует распределение состояний и предотвращает дрейф.

Агентная система и управление

Модель интегрирована в Director-Pilot Co-Simulation Framework. VLM-директор управляет семантикой и причинно-следственными связями, а Diffusion Transformer-пилот симулирует физическую динамику. Поддерживаются два режима взаимодействия:

1. Прямое семантическое взаимодействие: VLM генерирует события на основе кадра без масок объектов.
2. Взаимодействие с отслеживанием объектов: Использование SAM для трекинга объектов, позволяющее пользователю выбирать сущности (например, открыть дверь или покатать мяч).

Характеристики моделей и производительность

Доступны две версии модели. Основная — 14B параметров, легковесная — 1.3B. На данный момент открыт только быстрый причинный вариант 14B. Модель способна генерировать видео в реальном времени (60 fps при 720p) через специализированный спейтиальный-временной рефинер, компилируемый в TensorRT.

Практическое применение и запуск

Кодовая база построена на Wan2.2. Модель подходит для прототипирования игровых уровней, создания синтетических данных для обучения политик (embodied simulation) и видео-аналитики. Для запуска требуется 8 GPU (для 480p) или использование хостинга Reactor, предлагающего 48 fps при разрешении 1664×960. Доступен весовой файл lingbot-world-v2-14b-causal-fast через Hugging Face.

Источник: MarkTechPost ↗