Проблема пассивного распознавания
Существующие оценки мультимодальных больших языковых моделей (MLLM) для пространственного мышления опираются преимущественно на статические вопросы и ответы (QA) по небольшим или синтетическим сценам. Авторы исследования из arXiv (2610.12881) отмечают, что такие тесты редко проверяют способность моделей модифицировать пространственные конфигурации при соблюдении явных геометрических ограничений. Это создает ложное впечатление о понимании физики мира.
Что такое GeoSpatialBench
Команда исследователей во главе с Чжэн Жэнем представила GeoSpatialBench — открытый бенчмарк, основанный на реальных данных городской застройки шести географически разнообразных городов. Тест оценивает прогрессивное развитие пространственного познания по трем уровням:
- Понимание пространственных отношений;
- Геометрическое рассуждение;
- Пространственное редактирование с ограничениями (constrained spatial editing).
Тест включает таксономию из 28 типов отношений (топологические, направленные, метрические и порядковые), проверяемые через структурированные данные GeoJSON и изображения карт. Истинность ответов верифицируется с помощью операций ГИС (геоинформационных систем).
Ключевые метрики и результаты
Эмпирическая оценка передовых MLLM выявила «пространственный разрыв» (spatial gap). Модели демонстрируют значительный спад производительности при переходе от пассивного распознавания к активному редактированию. Ниже приведены ключевые различия в производительности в зависимости от типа входных данных и задачи:
| Модальность входа | Тип задачи | Результат / Наблюдение |
|---|---|---|
| Структурированный GeoJSON | Любая | Стабильно превосходит изображения карт |
| Изображения карт | Любая | Значительно уступает GeoJSON |
| Мультимодальная комбинация | Любая | Не дает надежного прироста над GeoJSON alone |
| Топологические/Порядковые отношения | QA (Вопрос-Ответ) | Удовлетворительная компетентность |
| Метрические отношения | QA (Вопрос-Ответ) | Заметное падение производительности |
| Порядковые отношения | Редактирование | Спад точности по сравнению с QA |
Почему это важно для индустрии
Самое тревожное открытие: большинство неудачных попыток редактирования нарушают хотя бы одно из заданных пространственных ограничений. Это доказывает, что современные модели не строят «заземленные» (grounded) модели мира, а скорее имитируют логику на основе текстовых паттернов.
GeoSpatialBench предоставляет строгую диагностическую среду для тестирования этих ограничений. Результаты закладывают эмпирический фундамент для создания физически обоснованных моделей мира и пространственного ИИ для робототехники и автономных систем, где ошибка в геометрии недопустима.
Источник: arXiv cs.AI ↗