Проблема управления эмоциями в реальном времени
Полнодуплексные голосовые агенты (full-duplex speech agents) требуют мгновенной модуляции тона и эмоций во время диалога — от успокоения клиента до передачи срочности. Традиционные методы, такие как prompt-conditioned или reference-conditioned synthesis, часто требуют переобучения или сложной настройки. В статье "Steering Follows Geometry, Not Labels" (принято в NeurIPS 2026 Workshop on RTCA) представлен подход к контролю эмоций в модели Moshi без переобучения.
Методология: Mean-Difference Activation Steering
Исследование использует метод mean-difference activation steering. Суть метода заключается в добавлении нескольких векторных сложений на каждый аудиофрейм. Это позволяет изменять эмоциональную окраску речи в реальном времени, манипулируя активациями в residual stream модели. Ключевое преимущество — отсутствие необходимости в дообучении (retraining) модели под каждую новую эмоцию.
Ключевые результаты: Геометрия эмоций
Авторы доказали, что эмоции линейно декодируемы из residual stream модели Moshi. Однако управление оказалось неравномерным. Эмоции счастье (happy), гнев (angry) и удивление (surprise) разделяют общее векторное направление, что делает их разделение сложной задачей. Эмоция грусть (sad), напротив, имеет уникальное и четко выделяемое направление.
Важное открытие: общий компонент, разделяемый тремя эмоциями (happy, angry, surprise), не может быть просто вычтен из всех эмоций с одинаковой эффективностью. Это создает ограничения для точного контроля.
| Эмоция | Управляемость (Steerability) | Геометрическая особенность |
|---|---|---|
| Sad (Грусть) | Высокая | Имеет уникальное, изолированное направление в пространстве активаций |
| Happy (Счастье) | Частичная | Делит общее направление с гневом и удивлением |
| Angry (Гнев) | Частичная | Делит общее направление с счастьем и удивлением |
| Surprise (Удивление) | Частичная | Делит общее направление с счастьем и гневом |
Почему это важно для индустрии
Результаты показывают, что простое "переключение лейблов" не работает в полнодуплексных моделях из-за пересечения векторных пространств эмоций. Для разработчиков голосовых AI это означает необходимость более сложной работы с геометрией latent-пространства, а не просто с классификацией эмоций. Успешное внедрение таких методов позволит создавать более естественных и эмпатичных голосовых ассистентов, способных адаптироваться к контексту разговора без задержек на переобучение.
Источник: arXiv cs.CL ↗