IFM PAN 2: Открытая 29B-модель для симуляции физических процессов

Суть прорыва: от генерации к симуляции

Институт фундаментальных моделей (IFM) при Университете MBZUAI представил PAN 2 — модель мира (World Model) для физической ИИ-интеллекции. В отличие от стандартных генеративных моделей, PAN 2 не просто создает видео, а симулирует последствия действий агента в среде. Это позволяет роботам и автономным системам тестировать планы в симуляции перед реальным выполнением.

Модель работает по архитектуре Generative Latent Prediction (GLP) и состоит из двух ключевых компонентов:

• Концептуальное рассуждение: LLM (по умолчанию Kimi K3) анализирует наблюдение и действие, преобразуя их в структурированный JSON (события, тайминги, движение камеры).
• Перцептивное рассуждение: 29B-параметрический диффузионный трансформер (MMDiT), обученный с нуля на сотнях миллионов аннотированных видео, предсказывает латентные представления видео. Текст кодируется замороженным энкодером Qwen3.5-9B, а декодирование осуществляет Wan 2.2 VAE.

Ключевые метрики и производительность

PAN 2 демонстрирует лидерство в задачах многошагового планирования, хотя и уступает некоторым конкурентам в одиночных действиях. Модель генерирует видео разрешением 704×1248 при 24 кадрах в секунду (до 20 секунд клипа).

Важнейший инсайт исследования: без модуля концептуального рассуждения (LLM-планировщика) завершение полного плана падает до 0.0%, а завершение шага — до 8.7%. Это доказывает, что для сложных сценариев критически важна не только генерация пикселей, но и логическое структурирование действий.

Технические детали и запуск

Модель распространяется под лицензией Apache 2.0, вместе с весами, кодом обучения и инференса. Для запуска требуется GPU с поддержкой BF16, где модель загружается целиком (без явного указания VRAM-лимитов, но с возможностью offloading блоков). Инференс доступен через Hugging Face Diffusers, vLLM и FastVideo.

IFM также выпустил модуль pan2-guardrail, который снижает долю небезопасных выходов из 33.9% до 1.5% для текстовых запросов, хотя и блокирует около 11.5% легитимных запросов.

Почему это важно

PAN 2 закрывает пробел между генеративным видео и физическим ИИ. Для разработчиков роботов и агентов это означает возможность использовать открытую модель для верификации стратегий. Несмотря на высокие требования к железу и частые ошибки в длинных планах (около 2/3 планов пропускают шаг), PAN 2 становится новым эталоном для открытых моделей, способных понимать причинно-следственные связи в динамических сценах.

Бенчмарки

Жирным — лучший результат в строке. Источник цифр — официальная публикация.

Источник: MarkTechPost ↗