Проблема: лавина климатической литературы
Объем научной литературы по климату растет быстрее, чем рецензенты и исследователи успевают его читать. Критически важная информация о социальных точках невозврата (social tipping points) — порогах, при которых малые изменения запускают самоподдерживающиеся сдвиги в социальных системах — часто скрыта в одном-двух абзацах внутри объемных документов. Существующие инструменты текстового майнинга, классифицирующие документы целиком, не справляются с такой детализацией.
Решение: 5-компонентный AI-конвейер
Авторы из команды Kavindu Perera и коллег разработали открытый модульный фреймворк, работающий на уровне отдельных пассажей (отрывков текста). Система объединяет следующие модели:
- DistilBERT: используется как сплиттер границ для сегментации текста.
- RoBERTa: классификатор, обнаруживающий релевантные отрывки. Модель подвергалась итеративной аугментации.
- Mistral 7B: переписывает обнаруженные отрывки для повышения ясности.
- LLaMA 3.2 3B: оценивает каждый отрывок по пяти опубликованным критериям точки невозврата.
- Milvus: векторное хранилище для семантического поиска.
Интерфейс реализован на Streamlit с использованием объектного хранилища MinIO.
Результаты бенчмарков
Система протестирована на двух наборах данных: 163 пассажах, размеченных GPT-4.1, и 51 пассаже, проверенном экспертами-людьми. Сплиттер DistilBERT превзошел три конкурирующих метода по девяти метрикам (суммарный балл 6.137). Модель RoBERTa показала следующие результаты:
| Набор данных | Точность (Accuracy) | Cohen's Kappa | Примечание |
|---|---|---|---|
| Полный бенчмарк (163 пассажа) | 71.4% | 0.337 | Превзошла климат-специфичные модели |
| Пассажи с метками (подмножество) | 87.5% | 0.742 | Высокая согласованность с экспертами |
Значимость
Работа закрывает пробел в автоматизированном анализе качественных данных. Способность системы не просто находить, но и структурировать доказательства на уровне пассажей позволяет исследователям быстрее выявлять критические социальные изменения, игнорируемые традиционными методами тематического моделирования.
Источник: arXiv cs.CL ↗