Проблема отсутствия стандартов
Текстовые модели мира (Text-Based World Models) демонстрируют потенциал в симуляции сложных сред для обучения с подкреплением (RL). Однако до сих пор не существовало единого стандарта для сравнения этих моделей. Исследователи из команды Nicholas Saban, Charvi Bannur, Mariya Vasileva и Darshan Deshpande решили эту проблему, опубликовав работу GlobeBench (arXiv:2610.22708, октябрь 2026).
Масштаб и структура бенчмарка
GlobeBench — это не просто набор вопросов, а сложная система оценки, состоящая из 1 632 задач. Тестирование охватывает пять различных доменов и проверяет 19 ключевых навыков симуляции. Главная цель — понять, может ли модель предсказать реакцию среды на действие агента, основываясь на полной траектории его движения, соблюдая правила мира и учитывая влияние действий как на связанные, так и на несвязанные объекты.
Методология оценки
Для объективности результатов использовалась гибридная архитектура оценки:
- Детерминированные гейты: строгая проверка логических соответствий.
- Семантический судья: оценка смысловой точности предсказаний.
Предсказанная моделью реакция среды сравнивалась с эталонным ответом, полученным путем фактического выполнения действий в симуляции.
Ключевые результаты: разрыв в возможностях
В исследовании приняли участие 20 моделей: как общие LLM, так и специализированные текстовые модели мира. Результаты выявили критическую зависимость точности от сложности изменений в среде.
| Показатель | Значение / Детали |
|---|---|
| Лучшая модель | GPT-6 Astra (49.57% успешных задач) |
| Средняя точность при каскаде | 5.1% (когда изменения затрагивают зависимые объекты) |
| Нерешенные задачи | 631 задачи не решены ни одной из 20 моделей |
| Общее количество задач | 1 632 |
Самый тревожный сигнал: когда действия агента должны распространяться на зависимые объекты (каскадные эффекты), точность всех 20 моделей падает в среднем до 5.1%. Это указывает на фундаментальный пробел в способности современных LLM выступать в роли надежных моделей мира.
Почему это важно
Наличие 631 задач, которые не смог решить ни один из протестированных ИИ, доказывает, что текущие генеративные модели еще не готовы к автономному управлению сложными симуляциями без жесткого контроля. GlobeBench становится новым ориентиром для разработчиков, показывая, что «понимание» мира требует не только языковой fluency, но и строгой физической и логической консистентности, которой современным моделям катастрофически не хватает.
Источник: arXiv cs.AI ↗