Проблема: Иллюзия понимания
Мультимодальные AI-агенты научились решать сложные задачи с помощью инструментов, но их способность анализировать десятилетия спутниковых снимков для отслеживания изменений на Земле оставалась неизмеренной. Существующие бенчмарки используют уже обработанные данные или готовые изображения, игнорируя «сырые» архивы, где начинается настоящая работа исследователей. Команда исследователей во главе с Хаораном Чжаном представила EarthRecord — первый тест, который проверяет агентов на реальных, необработанных данных.
Методология: 56 сайтов и 40 лет истории
EarthRecord базируется на «сырых» записях 56 локаций, охватывающих четыре десятилетия наблюдений. В датасет включены данные с датчиков Landsat, MODIS, VIIRS и Sentinel-2. Ключевая особенность теста: агенты должны самостоятельно выполнить маскирование облаков и гармонизацию данных между разными сенсорами. Задача состоит из 238 вопросов по 10 типам анализа изменений земной поверхности.
Результаты: Галлюцинации против реальности
Тестирование 12 ведущих мультимодальных агентов выявило критический разрыв. Хотя модели успешно завершают большинство анализов «от начала до конца», они терпят неудачу, когда требуется прямое сопоставление пикселей. Самая тревожная находка: когда исследователи искусственно изменяли данные одного спутника (не меняя при этом реальную поверхность Земли), половина «правильных» ответов агентов следовала за этими изменениями. Это доказывает, что агенты опираются на статистические паттерны из предобучения, а не на фактические визуальные доказательства.
Сравнение подходов к оценке
| Тип контроля | Механизм | Результат и вывод |
|---|---|---|
| Closed Book | Исключение архива данных из доступа агента | Показывает, насколько ответы зависят от доступа к конкретным пикселям, а не от общих знаний. |
| Instrument Pairs | Изменение данных одного спутника без изменения ландшафта | 50% агентов меняют вывод в ответ на шум в данных, доказывая отсутствие реального визуального анализа. |
| Reference Scoring | Сверка с withheld global products | Используется как золотой стандарт для оценки точности, но часто обманчив при наличии галлюцинаций. |
Значение для индустрии
EarthRecord предоставляет принципиально новую платформу для измерения прогресса AI в науках о Земле. Исследование показывает, что текущие модели перешли от использования «предыдущих знаний» к работе с пикселями, но еще не достигли уровня понимания реальных изменений на земле. Для разработчиков систем дистанционного зондирования это сигнал к необходимости внедрения строгих механизмов верификации визуальных выводов.
Источник: arXiv cs.AI ↗