Заполнение пробела в NLP для бразильского рынка
Развитие систем финансового NLP для бразильского португальского языка долгое время сдерживалось острым дефицитом специализированных датасетов. Команда исследователей во главе с Леомаксом Бандейрой (Leomax Bandeira) и Габриэлем Агуаром (Gabriel Aguiar) представила крупномасштабный корпус, состоящий примерно из 160 000 новостных статей, собранных из веб-источников. Работа принята к публикации на конференции SMC 2026 и служит фундаментальной базой для будущих исследований в области анализа финансовых рынков Латинской Америки.
Эксперимент: ручная аннотация против LLM
Для создания бенчмарков авторы использовали слабонадзорный подход на основе семантического сходства. Ключевой частью исследования стало сравнение двух методов разметки данных: ручной аннотации экспертами и автоматической разметки с помощью Large Language Model (LLM). Были протестированы три метода классификации, использующие многоязычные семантические эмбеддинги: косинусное сходство, K-ближайших соседей (KNN) и поиск ближайших соседей на базе FAISS.
Результаты: цена «грязных» данных
Эксперименты выявили высокую чувствительность моделей к качеству меток и распределению классов. Автоматическая аннотация LLM, несмотря на высокую точность (accuracy), привела к катастрофическому падению F1-меры из-за шума в данных и дисбаланса классов. Ниже приведено сравнение метрик на разных подмножествах данных:
| Метод разметки | Метод классификации | Accuracy | F1-score | Ключевой вывод |
|---|---|---|---|---|
| Ручная аннотация | KNN | — | 31.9% | Лучший результат на чистых данных |
| Ручная аннотация | FAISS | — | Ниже KNN | Близкие результаты, зависимость от эмбеддингов |
| LLM-аннотация | Все методы | ~50% | ~20% | Высокий шум и дисбаланс снижают полезность |
Почему это важно для индустрии
Результаты исследования служат важным предупреждением для разработчиков финансовых AI-систем. Достижение точности (accuracy) в 50% при использовании LLM-аннотаций выглядит привлекательно, но F1-мера около 20% делает такие модели практически непригодными для реальных задач, где важна точность предсказания каждого класса. Исследование подчеркивает, что для бразильского сегмента рынка критически необходима качественная ручная разметка, а не просто масштабирование автоматических процессов. Этот датасет становится новой точкой отсчета (baseline) для всех последующих проектов в области Financial NLP на португальском языке.
Источник: arXiv cs.CL ↗