Проблема: LLM не знают, какие данные нужны
Большие языковые модели (LLM) все чаще интегрируются в системы GeoAI, но их способность понимать геопространственные задачи оценивалась слабо. Ключевая проблема: чтобы выполнить геоаналитический запрос, модель должна сначала определить, какие именно наборы данных, ресурсы и ограничения (constraints) необходимы. Без этого этапа любые последующие вычисления ненадежны.
Исследователи из Университета Лаваль (Amirhossein Vahdat, Thierry Badard, Luc Lamontagne) представили GeoFitBench-LLM — первый специализированный бенчмарк, оценивающий именно эту способность: elicitation of geospatial data requirements (извлечение требований к геоданным).
Методология: две оси сложности
Бенчмарк структурирован вокруг двух измерений, отражающих фундаментальные проблемы геоинформатики:
- Spatio-Temporal Relational (Пространственно-временные отношения): способность модели понимать связи между объектами в пространстве и времени.
- Semantic Grounding (Семантическое обоснование): способность связывать естественный язык с конкретными атрибутами и типами геоданных.
Истинные ответы (ground truth) закодированы в фиксированной, независимой от провайдера схеме, что позволяет объективно оценивать как идентификацию ресурсов, так и спецификацию атрибутов.
Результаты: GPT-5.4 Thinking — лидер, но с оговорками
Тестирование проводилось на семи моделях при минимальном промптинге (minimal prompting). Результаты показали четкий разрыв между умением найти «что использовать» и умением определить «как именно использовать».
| Модель | Полное восстановление ресурсов (%) | Точность спецификации атрибутов |
|---|---|---|
| GPT-5.4 Thinking | 66.67% | Средняя/Низкая (сложности с inferential demands) |
| Другие модели (7 tested) | Ниже 66.67% | Значительно хуже |
Ключевой вывод: идентификация необходимых ресурсов часто достижима, но точная спецификация fitness-for-use (пригодности для использования) остается сложной задачей по мере роста вычислительных требований к логике модели.
Почему это важно для индустрии
GeoFitBench-LLM был представлен в качестве устного доклада на GeoAI 2026 в Генте, Бельгия. Это первый шаг к стандартизации оценки LLM в геопространственной аналитике. Для разработчиков GeoAI-систем это сигнал: полагаться на «черный ящик» LLM для сбора данных опасно. Необходимы промежуточные слои валидации или дообучение моделей на специфических геоданных схемах.
Доступ к данным и коду бенчмарка доступен через Zenodo (DOI: 10.5281/zenodo.20129011).
Источник: arXiv cs.CL ↗