Проблема: деградация моделей на диалектах
Производительность Speech Language Models (SLM) часто падает при работе с диалектами из-за острой нехватки данных. Традиционные методы аугментации через TTS (text-to-speech) требуют наличия реальных записей диалектов, что делает их неприменимыми для редких языковых вариантов. Авторы работы (Shunsuke Mitsumori, Tomoya Mizumoto, Yusuke Fujita) предлагают решение, не требующее ни одной секунды реальной диалектной речи.
Решение: Псевдо-диалектная аугментация
Метод состоит из двух ключевых этапов:
- Генерация текста: LLM генерирует текст на целевом диалекте.
- Синтез речи: Стандартная TTS-модель преобразует этот текст в аудио. Это создает «псевдо-диалект» — речь с диалектной интонацией/лексикой, но произнесенную стандартным голосом.
- Промежуточное предсказание: Во время обучения модель дополнительно обучается предсказывать стандартный текст (semantic normalization), что помогает сгладить семантический разрыв между диалектом и целевым языком.
Результаты: бенчмарки перевода
Эксперименты проводились на задаче перевода речи с диалектов на английский (dialect-to-English speech translation) для японского, немецкого и китайского языков. Сравнение с базовыми моделями, обученными на синтетической стандартной речи, показало значительный прирост метрик:
| Язык / Диалект | Базовая синтетика (стандарт) | Псевдо-диалект (только) | Псевдо-диалект + промежуточное предсказание |
|---|---|---|---|
| Японский | 25.38 | 26.24 | 28.26 |
| Немецкий | 31.57 | 32.47 | — |
| Китайский | 11.67 | — | 16.37 |
Наиболее впечатляющий скачок наблюдался на китайском языке (+4.7 пункта), где промежуточное предсказание стандартного текста сыграло решающую роль в преодолении семантических различий.
Значение для индустрии
Подход демонстрирует масштабируемость: метод работает для разных языков без необходимости сбора специфических речевых ресурсов для каждого диалекта. Работа принята к публикации на конференции IEEE SLT 2026.
Источник: arXiv cs.CL ↗