Заполнение пробела в low-resource NLP
Для таджикского языка долгое время отсутствовали открытые модели для задачи информационного поиска (retrieval). Команда исследователей во главе с Тохиром Сайдзодой представила Saidzoda-Tajik-E5-Large — модель на базе multilingual-e5-large-instruct с 560 миллионами параметров. Цель проекта — обеспечить точный семантический поиск в корпоративных и государственных данных на таджикском языке.
Данные и методология обучения
Ключевой вызов заключался в отсутствии размеченных датасетов. Авторы использовали собственный таджикский LLM для генерации вопросов к отрывкам из законов, налоговых документов, Wikipedia и веб-текстов. Итоговый датасет составил 235 140 пар «вопрос-документ». Обучение проходило в один эпох (one epoch) с применением hard negatives (сложные отрицательные примеры), отобранными другой моделью-эмбеддером. Для предотвращения катастрофического забывания русского и английского языков в датасет были добавлены соответствующие англо-русские пары.
Результаты бенчмарков
Модель показала значительный прирост точности (Recall@10) на специализированных наборах данных по сравнению с базовой версией E5. Ниже приведены ключевые метрики:
| Набор данных | Базовая модель (E5) | Saidzoda-Tajik-E5-Large | Прирост |
|---|---|---|---|
| Законы (неизвестные модели) | 80.2% | 93.6% | +13.4% |
| Налоговые документы | 82.6% | 94.5% | +11.9% |
| Belebele (человеческие вопросы) | 92.2% | 95.2% | +3.0% |
На наборе Belebele, где вопросы написаны носителями языка, прирост статистически не подтвержден из-за пересекающихся доверительных интервалов. Однако на синтетических данных (законы и налоги) модель сравнялась с Giga-Embeddings-3B (моделью в 5 раз больше по параметрам), уступив ей лишь на более сложных тестах Belebele, где лидируют модели объемом 3B и 8B.
Технические инсайты и ошибки
Авторы честно описали провалы в процессе обучения. Использование формата bfloat16 привело к поломке модели, а попытка заменить таджикские буквы на визуально похожие русские (транслитерация) не дала улучшения качества. Исследователи отмечают, что текущие метрики на законах и налогах являются «верхней границей», так как вопросы сгенерированы той же моделью, что и для обучения, и требуют валидации на вопросах от реальных пользователей.
Значимость для отрасли
Проект демонстрирует жизнеспособность стратегии fine-tuning малых моделей (560M) для low-resource языков. Это позволяет внедрять RAG-системы (Retrieval-Augmented Generation) в таджикскоязычном сегменте без необходимости использования ресурсоемких моделей размером в миллиарды параметров, что критично для развертывания на edge-устройствах или в условиях ограниченных вычислительных мощностей.
Источник: arXiv cs.CL ↗