PAN 2: ИИ-модель мира, которая понимает физику лучше конкурентов

От предсказания слов к предсказанию мира

Если языковые модели (LLM) учатся предсказывать следующее слово, то для физического интеллекта ключом становится предсказание следующего состояния мира. Лаборатория Ifm анонсировала PAN 2 (Physical Action Network 2) — первую в своем роде модель, спроектированную специально для агентов ИИ. Ее задача — не просто генерировать видео, а создавать физически правдоподобные симуляции, позволяющие роботу или алгоритму планировать действия без дорогостоящих и опасных физических проб.

Архитектура PAN 2 базируется на подходе Generative Latent Prediction (GLP). Она объединяет два ядра: LLM для концептуального рассуждения (кто, когда и как действует) и латентную диффузионную модель (LDM) для перцептивного рассуждения (детали контакта, деформации, движение). Это позволяет модели связывать текстовые описания состояний с визуальными изменениями в реальном времени.

Три столпа физической достоверности

Ключевое отличие PAN 2 от обычных видео-генераторов — строгая привязка к трем измерениям: времени, физике и пространству. Модель обучалась на разнообразных реальных видеозаписях с геометрическими аннотациями камеры, что обеспечивает:

• Временную привязку (Time): Каждое действие привязано к точному таймстампу. Порядок и длительность действий имеют значение (например, момент нажатия тормоза определяет, остановится машина или врежется).
• Физическую динамику (Physics): Модель корректно обрабатывает столкновения, разрывы, текучесть жидкостей и изменение материалов (плавление, таяние), а не просто имитирует их визуально.
• Пространственную согласованность (Space): Движение камеры отделено от движения объектов. Модель понимает геометрию сцены, что позволяет агентам планировать навигацию, не путая сдвиг обзора с перемещением объекта.

Результаты бенчмарков: лидер среди открытых моделей

Оценка PAN 2 проводилась не только на визуальное качество, но и на способность выполнять многошаговые планы. Модель демонстрирует выдающиеся результаты в сравнении с закрытыми (FLUX 3, Seedance 2.5) и открытыми (MiniMax-H3) аналогами. Особенно важно, что PAN 2 лидирует в выполнении полных планов действий среди открытых моделей.

Примечание: † — закрытые модели. Данные取自 Physics-IQ и RBench публичных лидербордов.

Почему это важно для индустрии

Результат в 34% выполнения полных планов действий — это качественный скачок. Большинство существующих моделей теряют нить повествования или логики после первого-второго шага. PAN 2 же способна удерживать контекст и физические законы на протяжении всей цепочки действий.

Кроме того, в слепом сравнении с участием людей PAN 2 заняла второе место среди четырех оцененных открытых моделей по критериям соблюдения действий, физической правдоподобности и согласованности мира. Это делает её мощным инструментом для обучения автономных роботов, которым необходимо «представлять» результат своих действий до их физического совершения, минимизируя риск поломок и ошибок.

Бенчмарки

Жирным — лучший результат в строке. Источник цифр — официальная публикация.

Источник: Ifm ↗