Масштаб данных, меняющий правила игры
Проблема восстановления пунктуации (Punctuation Restoration) во вьетнамском языке долгое время страдала от недостатка качественных данных. Большинство существующих бенчмарков были слишком малы, чтобы делать выводы о масштабируемости архитектур. Команда исследователей под руководством Khoa D. Nguyen представила PhoPunct — контролируемый датасет объемом 22,1 миллиона размеченных токенов. Корпус разделен на две части: новостные статьи (19,9 млн токенов) и художественные тексты (2,2 млн токенов). Это позволяет оценить устойчивость моделей к разным стилям речи и синтаксису.
Эксперимент: 17 архитектур, один бюджет
Ключевая инновация работы — строгий контроль условий обучения. Авторы оценили 17 различных архитектур, скомбинированных из четырех предобученных Transformer-бэкбонов. К базовым моделям добавлялись слои Bi-LSTM и CRF (Conditional Random Fields), а также тестировалась специализированная модель PhoBERT-large-Bi-LSTM-CRF (названная PhoPunct). Все модели обучались ровно 8 эпох с одинаковой скоростью обучения без какой-либо архитектурно-специфичной тонкой настройки (architecture-specific tuning). Это исключило фактор «подгонки» под конкретную структуру.
Результаты: Transformer-классификаторы побеждают гибриды
Результаты оказались неожиданными для многих специалистов. Добавление рекуррентных слоев (Bi-LSTM) и структурных заголовков (CRF) не дало гарантированного прироста метрики Macro F1. В 7 из 8 сравнений в рамках одной доменной области «чистый» Transformer-классификатор показал результаты, равные или лучшие, чем его гибридные аналоги с Bi-LSTM/CRF. Это ставит под сомнение необходимость сложных гибридных архитектур при стандартных режимах оптимизации.
Лучшие результаты по доменам распределились следующим образом:
| Домен | Лучшая модель | Macro F1 | Примечание |
|---|---|---|---|
| Новости (News) | PhoPunct (PhoBERT-large-Bi-LSTM-CRF) | 61.35 | Лидер в новостном корпусе |
| Художественная литература (Novels) | XLM-R + CRF | 50.18 | Обогнала PhoPunct (48.97) |
Почему это важно для индустрии
Работа, принятая к публикации в PACLIC 40 (2026), демонстрирует критическую разницу между улучшением архитектуры и улучшением за счет тонкой настройки. Авторы призывают разделять эти понятия: ценность Bi-LSTM и CRF сильно зависит от режима оптимизации. Для разработчиков NLP-решений для вьетнамского языка это означает, что в условиях ограниченных вычислительных ресурсов и фиксированного бюджета обучения, более простые Transformer-классификаторы могут быть предпочтительнее сложных гибридных моделей, уступая им лишь в специфичных доменах (как художественная литература для XLM-R).
Исходный код бенчмарка и модели опубликованы в открытом доступе, что позволяет сообществу верифицировать результаты и строить новые решения на базе PhoPunct.
Источник: arXiv cs.CL ↗