Суть прорыва: ИИ, который «видит» и понимает игру
Команда General Intuition в коллаборации с Kyutai и Epic Games открыла исходный код и датасет для модели MIRA (Multiplayer Interactive World Models with Representation Autoencoders). Это не просто генератор видео, а интерактивная симуляция, способная обрабатывать действия четырех игроков в реальном времени. Модель демонстрирует 20 FPS при разрешении 576p, разделяя экран на четыре вида от первого лица.
Ключевая особенность MIRA заключается в том, что она не использует ни физического движка, ни рендеринга, ни явного 3D-представления. Вся логика игры — движение машин, удары по мячу, система буста, детонации и даже сообщения об ошибках — извлечена исключительно из пикселей и команд управления через трансформер.
Архитектура и метрики
Модель построена на базе диффузионного трансформера (Diffusion Transformer) с 5 миллиардами параметров, который работает в латентном пространстве видео-кодека (600 млн параметров). Обучение происходит методом diffusion forcing в латентном пространстве, что позволяет модели справляться с накоплением ошибок при автогенерации кадров.
| Параметр | Значение / Характеристика |
|---|---|
| Размер модели | 5B параметров (Diffusion Transformer) |
| Видео-кодек | 600M параметров (Representation Autoencoder) |
| Частота кадров | 20 FPS |
| Разрешение вывода | 576p (разделенное на 4 игрока) |
| Количество игроков | 4 (режим 2v2) |
| Обучающие данные | 10 000 часов матчей (бот Nexto) |
Датасет Rocket Science и обучение
Для обучения использовались данные бота Nexto (высший уровень сложности) в режиме 2v2. Исследователи подчеркивают, что человеческий геймплей не использовался ни для обучения, ни для тестирования. Модель обучалась на 10 000 часов записей матчей, где каждый кадр синхронизирован с потоком действий игрока (руль, газ, повороты, буст, прыжок, ручник).
Важно отметить: физическое состояние игры (координаты мяча, машин) логировалось, но не подавалось на вход модели. ИИ учится предсказывать будущее, опираясь только на визуальный ряд и нажатые клавиши. Для открытого доступа выпущен датасет Rocket Science объемом 4 000 часов видео в 720p с привязанными действиями.
Стабильность и режим Autopilot
Одной из главных проблем подобных моделей является «дрейф» (divergence) — накопление ошибок при долгосрочной генерации. MIRA демонстрирует высокую стабильность: модель может работать бесконечно, не теряя консистентности сцены. Это достигнуто за счет метода action dropout во время обучения, когда часть действий скрывается, заставляя модель предсказывать последствия неопределенности.
Это также позволило реализовать режим Autopilot. Поскольку модель обучалась на сильном боте, она может самостоятельно управлять всеми четырьмя машинами, предсказывая действия Nexto. В таких матчах ИИ-игроки демонстрируют сложную тактику, включая блоки и удары, что подтверждает глубокое понимание механик игры.
Зачем это нужно: путь к Physical AI
Симуляция видеоигр — это не замена развлечениям, а шаг к Physical AI (робототехника, беспилотный транспорт). В реальном мире сбор данных дорог и опасен. Если модель может точно предсказывать поведение в сложной среде вроде Rocket League, она может стать полигоном для тестирования алгоритмов управления в реальном мире (sim-to-real transfer). Успех в контролируемой среде с обильными данными дает надежду на то, что те же принципы можно будет применить к более «грязным» и редким данным реального мира.
Источник: Mira-wm ↗