В мире искусственного интеллекта происходит фундаментальный сдвиг: от простого генеративного творчества к пониманию физических законов. 10 ноября 2026 года Институт фундаментальных моделей (IFM) при Университете науки и технологий Мохаммеда бен Заеда (MBZUAI) представил PAN 2. Это не просто еще одна видео-модель, а полноценная «модель мира» (World Model) для физической интеллекции. Ее ключевая задача — принимать сцену и текстовое действие, а затем симулировать результат в виде видео. Для разработчиков роботов и автономных агентов это означает новую парадигму: возможность тестировать планы действий в симуляции до их реального выполнения.
Что делает PAN 2 особенным? В отличие от закрытых решений, IFM опубликовал веса, код обучения и инференса под лицензией Apache 2.0. Это открывает двери для сообщества исследователей и инженеров, позволяя модифицировать и внедрять модель в собственные проекты. Архитектура PAN 2 базируется на подходе Generative Latent Prediction (GLP), описанном в недавней работе IFM «Critique of World Models». Модель успешно заменяет своего предшественника PAN, выпущенного в ноябре 2025 года, предлагая более высокую точность и стабильность.
01Архитектура двойного мышления: Концептуальное и Перцептивное рассуждение
Главная инновация PAN 2 заключается в разделении процесса симуляции на два distinct типа рассуждения. Это позволяет модели не просто «угадывать» пиксели, а понимать причинно-следственные связи. Первый этап — концептуальное рассуждение. Здесь большая языковая модель (LLM) анализирует текущее наблюдение и запрошенные действия. Она преобразует эти данные в структурированный JSON, описывающий события, тайминги действий для каждого актора и движение камеры. По умолчанию IFM использует Kimi K3, но архитектура допускает использование любой инструкции-следящей LLM.
Второй этап — перцептивное рассуждение. На этом шаге в дело вступает диффузионный трансформер MMDiT размером 29 миллиардов параметров. Он предсказывает латентные представления видео. Модель была обучена с нуля на сотнях миллионов аннотированных видеороликов. Для кодирования текста используется замороженный энкодер Qwen3.5-9B, а финальные кадры декодируются через VAE от Wan 2.2. Такая гибридная архитектура позволяет сочетать логическое планирование с высокой визуальной детализацией.
02Производительность и бенчмарки: Лидерство в сложных сценариях
Все представленные ниже цифры являются самоотчетными данными IFM, полученными в их собственной тестовой среде. Тестирование охватывает 6 ключевых способностей на 300 случаях с одиночными действиями и 100 многошаговых задач. В категории полного завершения плана (full-plan completion) PAN 2 показывает результат 34,00%, что является лучшим показателем среди всех протестированных моделей. Для сравнения, MiniMax-H3 показывает 32,50%, FLUX 3 — 26,77%, а Seedance 2.5 — 24,49%.
Однако PAN 2 не идеален. Примерно две трети планов все же пропускают один или несколько шагов. В метрике завершения шага (step completion) модель набирает 75,10%, что практически на уровне с MiniMax-H3 (75,12%). В общей категории из 6 способностей PAN 2 набирает 84,48%, уступая MiniMax-H3 (87,20%), который лидирует во всех подкатегориях. Также стоит отметить метрику Physics-IQ Verified, где PAN 2 показывает 49,38 балла, опережая все открытые модели, хотя закрытая FLUX 3 набирает 51,11.
03Сравнение с конкурентами: PAN 2 против MiniMax-H3, Cosmos 3 Super и LTX-2.5
Чтобы понять место PAN 2 в ландшафте AI, необходимо сравнить его с ключевыми игроками. Ниже приведена таблица сравнения основных характеристик и результатов.
| Характеристика | PAN 2 | MiniMax-H3 | Cosmos 3 Super | LTX-2.5 |
|---|---|---|---|---|
| Разработчик | IFM (MBZUAI) | MiniMax | NVIDIA | Lightricks |
| Размер генератора | 29B MMDiT | 33B dense transformer | 64B Mixture-of-Transformers | 22B transformer |
| Планировщик / Энкодер | Любая LLM + Qwen3.5-9B | Qwen3-VL-32B + Context-IR | Встроенная авторегрессивная башня | Gemma-based text encoder |
| Макс. клип | 20 с, 704×1248, 24 fps | 15 с, 24 fps, 768p | 400 кадров | Не раскрыто |
| Аудио | Нет | Да, стерео | Да | Да |
| Лицензия | Apache 2.0 | MiniMax H3 Community | OpenMDW 1.1 | LTX-2.x Community |
| Код обучения | Да | Не раскрыт | Фреймворк на GitHub | Не раскрыт |
| Завершение плана* | 34.00% | 32.50% | 13.83% | 13.00% |
| Physics-IQ* | 49.38 | 39.79 | 48.62 | Не сообщено |
| Human Elo* | 1595 | 1620 | 1380 | 1346 |
*Оценки из модели PAN 2, запущенной IFM. Блог отмечает различия в оценках планов для Cosmos 3 Super и LTX-2.5.
Как видно из таблицы, PAN 2 выделяется открытостью и специализацией на физических процессах. MiniMax-H3, несмотря на более высокие баллы в человеческих предпочтениях (Human Elo 1620 против 1595), использует более сложную архитектуру и не предоставляет полный код обучения. Cosmos 3 Super от NVIDIA, обладая огромным размером в 64B параметров, показывает скромные результаты в планировании (13,83%), что указывает на то, что размер сам по себе не гарантирует качество симуляции сложных планов.
04Практическое развертывание: Как запустить PAN 2?
Развертывание PAN 2 требует серьезных вычислительных ресурсов. Модель поддерживает как текстовую генерацию видео (text-to-video), так и генерацию на основе изображения (image-to-video). Запуск возможен через Hugging Face Diffusers, vLLM, FastVideo или через скрипт generate.py из репозитория. По умолчанию сэмплер использует 50 шагов, flow shift 9 и guidance 2.5. Один клип по умолчанию состоит из 241 кадра, что составляет около 10 секунд видео.
Каждый GPU-воркер должен загрузить полную модель 29B в формате BF16. IFM не публикует точных данных о требуемом объеме VRAM или времени генерации, что делает развертывание сложным для локальных машин. Рекомендуется использовать серверные GPU. Для оптимизации промптов IFM рекомендует использовать структурированные подписи. Они предоставляют Conceptual Reasoner skill для Claude Code и Codex, который переписывает свободный текст в нужный формат. Бюджет токенов для подписей ограничен 1536 токенами.
pan2-guardrail. В тестах IFM этот инструмент снизил количество небезопасных выходов из вредоносных запросов T2V с 33,9% до 1,5%. Однако он также блокирует 11,5% доброкачественных запросов, что требует тонкой настройки.05Влияние на робототехнику и агентов
Зачем роботам нужна такая сложная модель? Ответ кроется в концепции симулятивного рассуждения (simulative reasoning). Автономный агент предлагает план действий, PAN 2 симулирует каждый шаг, и агент выбирает лучший вариант для реализации в реальном мире. Это критически важно для задач, где ошибка стоит дорого: манипуляция хрупкими объектами, навигация в сложных средах или взаимодействие с людьми.
Удаление игрового контента, анимации и симуляционных кадров после начального обучения привело к улучшению качества. Тестовая модель 9B, обученная без этих данных, выиграла 58% вслепую. Это говорит о том, что для физической интеллекции важна чистота данных, отражающих реальный мир, а не виртуальные миры.
06Что это значит на практике
Для разработчиков из России и СНГ, интересующихся локальным запуском или кастомизацией, PAN 2 открывает новые возможности. Благодаря лицензии Apache 2.0, вы можете скачать веса и код обучения. Однако, учитывая требования к GPU (полная загрузка 29B модели в BF16), вам потребуется мощная инфраструктура. Для локального запуска на потребительском железе это может быть затруднительно, но возможно использование квантования или оптимизации через vLLM.
Главный вывод: PAN 2 — это прорыв в области многошагового планирования, но он все еще уступает конкурентам в качестве отдельных действий и человеческих предпочтениях. Если ваша задача — симуляция физических процессов с четким планом, PAN 2 является лучшим открытым выбором. Если же важна гибкость и качество отдельных кадров, MiniMax-H3 может быть предпочтительнее, несмотря на закрытость. Следите за обновлениями в репозитории IFM и сообществах ML, так как эта область развивается стремительно.
Источник: MarkTechPost ↗