Суть проблемы: диссонанс каналов
Голосовые интерактивные LLM обрабатывают два потока: семантику (что сказано) и просодию (как сказано). Авторы Fengji Jing и Guy Laban из Университета Карнеги-Меллона (CMU) доказали, что когда эти каналы расходятся, вероятность ошибки модели резко возрастает. В отличие от традиционных классификаторов, которые часто игнорируют этот конфликт, современные аудио-LLM «путаются» в противоречивых сигналах.
Методология: Valence-Arousal-Dominance (VAD)
Исследователи не просто сравнивали тексты и аудио, а маппировали их в единое пространство эмоций VAD (валентность, возбуждение, доминантность). Для оценки расхождения была разработана метрика incongruence score на основе двухкомпонентной гауссовой смеси. Эта метрика не требует пороговых значений и валидирована против человеческих суждений.
Результаты на бенчмарках
Тестирование проводилось на трех наборах данных: acted (eNTERFACE'05), conversational (MELD) и spontaneous (CMU-MOSEI). Ключевой вывод: при фиксированной модели увеличение incongruence score повышает шансы на ошибку распознавания эмоции, даже после контроля за истинной эмоцией и расстоянием в пространстве признаков.
| Набор данных | Тип речи | Влияние incongruence на ошибку | Поведение традиционных классификаторов |
|---|---|---|---|
| eNTERFACE'05 | Acted (актёрская) | Рост ошибок при расхождении | Обратная корреляция (меньше ошибок) |
| MELD | Conversational (диалоги) | Рост ошибок при расхождении | Обратная корреляция (меньше ошибок) |
| CMU-MOSEI | Spontaneous (спонтанная) | Рост ошибок при расхождении | Обратная корреляция (меньше ошибок) |
Почему это важно для индустрии
Результаты показывают, что проблема кроется не в качестве сигнала, а в архитектуре объединения модальностей (fusion mechanism) внутри LLM. Традиционные supervised-классификаторы ведут себя противоположным образом, что указывает на необходимость пересмотра подходов к мультимодальному слиянию в больших языковых моделях. Авторы опубликовали код и данные, позволяющие воспроизвести метрику без использования эмоциональных лексиконов.
Источник: arXiv cs.AI ↗