Проблема «забывания» взрослой речи
Автоматические системы распознавания речи (ASR) часто демонстрируют низкую точность при работе с детьми и носителями не родного языка. Попытки адаптировать модели, обученные на взрослых голосах, под детские характеристики (высокий тон, специфическая артикуляция), приводят к эффекту катастрофического забывания: качество распознавания взрослой речи резко падает. Исследователи Houssam Eddine-Othman Lachemat и Shammur Absar Chowdhury провели эмпирическое сравнение методов адаптации для английского и арабского языков.
Методология и бенчмарки
Эксперименты проводились на трех типах архитектур: encoder-decoder, encoder-CTC и AudioLLM. Для оценки использовались датасеты:
- Детская речь: MyST (английский), а также данные на арабском (носители и не-носители языка).
- Взрослая речь (бенчмарки): MGB-2 и LibriSpeech test-clean.
Ключевые метрики: WER (Word Error Rate), Retention Index (индекс сохранения), Child Adaptation Gain (прирост для детей) и Adaptation Recovery (восстановление баланса).
Сравнение методов адаптации
Авторы сравнили три подхода: полное дообучение (full fine-tuning), LoRA и пост-хок слияние весов (weight-space merging). Результаты показали, что билингвальная адаптация (одновременное обучение на двух языках) стабильнее, чем специфичная для одного языка. Ниже приведены особенности методов слияния весов:
| Метод слияния | Особенности | Лучшие архитектуры |
|---|---|---|
| LERP | Отдает приоритет сохранению знаний взрослой речи (adult retention) | Encoder-CTC, Whisper, AudioLLM |
| TIES | Обеспечивает более сильный прирост точности для детской речи | Encoder-CTC, Whisper, AudioLLM |
| Прямое билингвальное дообучение | Показало наилучший сырой WER для детской речи | Encoder-decoder |
Выводы для индустрии
Исследование подтверждает необходимость специфической адаптации ASR для детей, особенно для не-носителей языка. Однако «голое» дообучение неприемлемо для универсальных систем. Использование методов слияния весов, таких как TIES или LERP, позволяет найти оптимальный компромисс, сохраняя работоспособность модели для взрослой аудитории. Код и модели доступны по ссылке в оригинальной статье.
Источник: arXiv cs.CL ↗