Проблема low-resource языков в соцсетях
Распознавание именованных сущностей (NER) для социальных сетей на языках с малым объемом данных (low-resource) остается сложной задачей. Традиционно fine-tuned предобученные языковые модели (PLM) показывают лучшие результаты на чистых бенчмарках. Однако социальные медиа полны шума, опечаток и сленга, где PLM часто «спотыкаются».
Методология: разделение на «легкие» и «трудные» кейсы
Автор исследования Claire Wang использовала датасет непальских твитов. Ключевой инновацией стало разделение тестовой выборки на две части:
- Easy cases: примеры, где fine-tuned PLM дает высокую вероятность правильного токена.
- Hard cases: примеры с низкой уверенностью PLM, где модель часто ошибается.
На «трудных» случаях была протестирована LLM с использованием 16 различных конфигураций промптов (prompt engineering).
Результаты: прорыв на сложных данных
Хотя LLM уступает PLM на полном наборе данных и на «легких» примерах, она демонстрирует значительное преимущество именно там, где это критично. Оптимизация промптов через семантическое подобие примеров (semantic similarity) и увеличение их количества дала прирост метрики F1 почти на 10 пунктов по сравнению с базовой конфигурацией.
| Метрика / Конфигурация | Результат на Hard Set | Примечание |
|---|---|---|
| Baseline LLM | Базовый уровень | Стандартный few-shot подход |
| Optimized LLM (Semantic Similarity) | +10 F1 points | Выбор примеров по смыслу и их увеличение |
| Hybrid Approach (PLM + LLM) | Выше, чем PLM alone | LLM исправляет ошибки PLM на сложных кейсах |
Почему это важно для индустрии
Результаты подтверждают стратегию гибридного NER: использовать быстрые и точные PLM для массовой обработки, а LLM подключать как «эксперта» для разбора сложных, неоднозначных случаев. Это позволяет повысить общее качество извлечения данных из соцсетей на языках, для которых нет больших аннотированных корпусов, без необходимости переобучения тяжелых моделей на каждом языке.
Источник: arXiv cs.CL ↗