Суть эксперимента
Команда исследователей во главе с Абдуллой Аль Кальбани (Abdullah Al Kalbani) провела стресс-тест шести популярных AI-инструментов. Задача была сформулирована как полноценный научный обзор: от поиска до синтеза выводов. В качестве эталона использовался опубликованный обзор метеорологического явления «Испанский фонтан» (Spanish plume) и корпус из 102 научных статей, связанных с этой темой.
Проблема поиска: цена доступа
На этапе поиска релевантных публикаций AI показали нестабильные результаты. Пять инструментов в сумме нашли лишь 57 статей из 102. Однако ключевой вывод касается доступа к корпоративным базам данных. Наличие институционального доступа (через библиотеки университетов) кардинально меняло картину:
| Инструмент | Поиск без доступа | Поиск с институциональным доступом | Прирост |
|---|---|---|---|
| Codex | 42 статьи | 82 статьи | +40 |
| Claude Code | 15 статей | 79 статей | +64 |
Анализ и синтез: «галлюцинации» консенсуса
Когда исследователи предоставили моделям полный корпус из 102 PDF-файлов, три лучших инструмента смогли корректно идентифицировать 18 ключевых статей. Однако на этапе интерпретации возникли серьезные проблемы. Модели ошибочно классифицировали от 40% до 79% упоминаний как «существенные», хотя они были лишь периферийными.
Синтез, оцененный вслепую двумя экспертами-предметниками, оказался неточным. AI часто приводили несуществующие цитаты, преувеличивали степень научного консенсуса и предлагали направления исследований, выходящие за рамки изучаемой темы.
Вывод для науки
Ни один из протестированных инструментов не стал абсолютным лидером. Исследование подтверждает: LLM полезны как ассистенты для первичного поиска и структурирования, но не способны заменить экспертную оценку доказательной базы. Ученые должны использовать AI для фильтрации, но не для формирования выводов.
Источник: arXiv cs.AI ↗