Проблема исторических данных
Исторический польский язык хорошо задокументирован, но машинно-аннотированных данных для периода до 1918 года существовало крайне мало — около 1 миллиона слов. Остальные тексты были доступны только через OCR с переменным качеством. Исследователь Сымон Кочур (Szymon Kocur) решил эту проблему, создав Wieszcz-XIX — крупнейший на данный момент корпус польского языка конца XIX — начала XX века.
Масштаб и качество корпуса
Корпус включает 6.75 миллиарда токенов (примерно 3.1 миллиарда слов) из 294 369 документов, преимущественно периодических изданий, опубликованных в период с 1800 по 1918 год. Данные собраны из архивов Wolne Lektury и Internet Archive с использованием конвейера фильтрации, дедупликации и аудита на «утечку» пост-1918 лексики.
Ключевые метрики качества текста:
- Ошибка распознавания символов (CER): 0.68% для читаемых фрагментов.
- Неисправимые ошибки: 45% выборочных пассажей не поддаются автоматической коррекции.
- Утечка данных: В обучающий корпус включены только документы до 1918 года, хотя в исходных транскрипциях обнаружен остаточный шум (0.04–0.38% байт) с более поздними текстами.
Обучение моделей и бенчмарки
На корпусе Wieszcz-XIX с нуля обучена серия декодерных моделей от 47M до 349M параметров. Исследование показало, что такие модели демонстрируют «временную привязанность» (temporal boundedness), превосходя современные базовые модели польского языка в понимании исторического контекста.
| Модель | Параметры | Результат на историческом тексте | Сравнение с современными аналогами |
|---|---|---|---|
| Wieszcz-XIX (349M) | 349 млн | Сохраняет историческую орфографию | Показывает «перекрестный» эффект: лучше современных аналогов в периодной лексике |
| Wieszcz-XIX (107M) | 107 млн | Сохраняет историческую орфографию | Превосходит современный аналог своего размера по стоимости перплексивности |
| Современные аналоги | Разные | Частично сохраняют орфографию | Платят штраф ~3.1 бит/байт за использование периодной лексики |
Важность для NLP
Результаты показывают, что увеличение объема данных (в данном случае корпуса) дает прирост качества, сопоставимый с удвоением прохода по данным. Модели Wieszcz-XIX не просто узнают старые слова, но и сохраняют стилистику, которую современные модели теряют, пытаясь нормализовать текст. Исследователь подчеркивает, что добавление параметров дает примерно в два раза больше пользы, чем второй проход по тем же данным.
Этические аспекты
Авторы предупреждают, что модели воспроизводят предрассудки эпохи, включая антисемитские высказывания, характерные для прессы того времени. Корпус, код и веса моделей опубликованы в открытом доступе.
Источник: arXiv cs.CL ↗