Проблема: AI не умеет «молчать»
Традиционные оценки голосовых моделей фокусировались на детекции границ реплик или агрегатной статистике. Авторы работы "People Making Conversation" (Bastani, Modarressi) пошли дальше: они оценили способность модели принимать решение — говорить или молчать в момент паузы собеседника. Для этого использовалась база из 176 нескриптованных диалогов (датасет Seamless Interaction), где модели были поданы 427 пауз и 482 окончания реплик.
Результаты: Облачные гиганты vs. Специализированные модели
Исследование протестировало шесть систем. Оказалось, что hosted-решения (GPT Realtime, Gemini 3.1 Flash Live, Grok Voice) реагируют практически на каждую паузу, независимо от используемого endpointer-а. Их главная проблема — задержка (latency). При использовании молчания как триггера задержка составляет 1–4 секунды, а при семантическом определении поворота — около 8 секунд. Это часто приводит к тому, что ответ модели «наезжает» на паузу пользователя.
Единственными системами, которые регулярно остаются молчаливыми и способны перебить человека в пределах времени человеческой реакции, стали полнодуплексные модели PersonaPlex и Moshi.
Память и точность: Текст против Аудио
Ключевой метрикой стала способность модели вспомнить факты из предыдущих 30–120 секунд диалога. Результаты кардинально различаются в зависимости от формата ввода:
| Модель / Тип | Ввод: Текст (Judge Claude Opus 5.5) | Ввод: Текст (Word Matcher) | Ввод: Аудио (Full-duplex) |
|---|---|---|---|
| Hosted APIs (GPT, Gemini, Grok) | 41% – 60% | 19% – 26% | — |
| Full-duplex (PersonaPlex, Moshi) | — | — | 17% – 22% (Judge) 12% – 15% (Matcher) |
Интересно, что hosted-системы, получающие историю как текст, демонстрируют значительно лучшую память (до 60% по оценке AI-судьи), чем полнодуплексные модели, обрабатывающие аудио напрямую. Однако полнодуплексные модели выигрывают в естественности взаимодействия, так как не генерируют избыточные ответы.
Почему это важно
Работа, принятая на NeurIPS 2026 Workshop on Real-Time Conversational Agents, подчеркивает разрыв между «технически работающим» AI и «естественным» собеседником. Для разработчиков голосовых интерфейсов это сигнал: оптимизация только задержки (latency) недостаточна. Необходимо развивать модели, способные понимать контекст тишины и принимать решения о молчании, чтобы избежать эффекта «разговора с эхом».
Авторы опубликовали все метки, точки данных, harness для тестирования и выходные данные всех протестированных систем, что позволяет сообществу проводить дальнейшие сравнения.
Источник: arXiv cs.CL ↗