Проблема смешанных представлений
Современные самообучаемые аудиоэнкодеры, такие как SPEAR и WavLM, хранят информацию о смысле сказанного (лингвистика) и о том, как это сказано (паралингвистика — эмоции, интонация, личность говорящего) в едином запутанном пространстве признаков. Это мешает точному контролю над моделями: например, при изменении эмоции часто искажается и смысл текста.
Методология: TopK и маршрутизация
Авторы (Beimnet Bekele Guta, Xiaoyu Yang, Guangzhi Sun, Philip C. Woodland) предложили архитектуру, использующую TopK-редкие автоэнкодеры с маршрутизацией. Ключевые элементы метода:
- Маршрутная специфичная супервизия: обучение направляет признаки в разные «коридоры» (routes).
- Кросс-факторные противоборствующие сети (adversaries): помогают подавлять нежелательные признаки в каждом маршруте.
- Замороженные энкодеры: базовые модели SPEAR и WavLM не дообучаются, что сохраняет их изначальные знания.
Результаты разделения
Эксперименты показали четкое разделение информации. Лингвистические данные остаются доминирующими в лингвистическом маршруте, тогда как паралингвистические факторы (идентичность говорящего, эмоции, просодия) концентрируются в паралингвистическом маршруте и существенно подавляются в лингвистическом.
| Параметр | Лингвистический маршрут | Паралингвистический маршрут |
|---|---|---|
| Содержание текста | Высокое сохранение | Существенное снижение |
| Идентичность говорящего | Снижено | Высокое сохранение |
| Эмоции и просодия | Снижено | Высокое сохранение |
| Обучение энкодера | Заморожено (Frozen) | |
Обобщаемость и интервенции
Структура маршрутов, обученная на датасете LibriSpeech, успешно переносится на MSP-Podcast без дополнительного обучения на уровне представлений (representation-side retraining). Более того, интервенции в пространстве признаков позволяют «переворачивать» факторы: замена паралингвистического признака меняет эмоцию или голос, при этом сохраняя исходное лингвистическое содержание.
Значение для индустрии
Результаты демонстрируют стабильное разделение факторов через энкодеры, корпуса и независимые зонды. Это открывает путь к созданию TTS-систем и аудио-редакторов, где можно независимо управлять смыслом, голосом и эмоциями без артефактов и искажений.
Источник: arXiv cs.CL ↗