Революция в голосовом интерфейсе: полнодуплексность и семантика
Новая система MOSS-Live от лаборатории MOSS решает главную проблему голосовых AI — задержки и неестественность переключения. В отличие от традиционных моделей, работающих в режиме «говорит один — слушает другой», MOSS-Live поддерживает полнодуплексную связь (full-duplex). Это означает, что пользователь может говорить, пока AI отвечает, а система использует семантический анализ для различения фоновых звуков, кивков согласия (например, «угу», «да») и реальных прерываний.
Если пользователь задает новый вопрос, AI мгновенно прекращает свою реплику и переключается на новую задачу. Если же это просто реакция на сказанное, система продолжает говорить, сохраняя естественный поток беседы.
Архитектура:Foreground и Background модели
Ключевое преимущество MOSS-Live — разделение задач на два потока, работающих асинхронно:
- Foreground Model (Передний план): Отвечает за мгновенное восприятие речи, видео и окружения. Принимает решения: отвечать, ждать или прерваться.
- Background Model (Задний план): Выполняет сложное логическое мышление, поиск информации и использование инструментов (tools). Эти задачи выполняются параллельно с разговором.
Слой координации (Coordination layer) синхронизирует память и контекст, позволяя AI вернуть результат долгого поиска в разговор в естественный момент, не прерывая текущую тему.
Мультимодальность и работа с контекстом
MOSS-Live интегрирует не только аудио, но и видео в реальном времени и демонстрацию экрана. В демо-сценариях показано, как AI распознает здания на улице через камеру телефона, объясняет их историю и параллельно ищет цены в отелях. Система также умеет игнорировать посторонние голоса (например, объявления в метро или речь других людей в группе), фокусируясь только на том, кто обращается к ней.
Результаты бенчмарков: Лидерство в метриках
В ходе тестирования на шести ключевых бенчмарках (FDB v1-v3, Big-Bench Audio, τ-Voice) MOSS-Live показал выдающиеся результаты. Система заняла первое место по всем метрикам полнодуплексного взаимодействия, превосходя аналоги в способности различать паузы и прерывания. В задачах использования инструментов (tool-use) успех составил 51%, а в многошаговых задачах (τ-Voice) — 57.93% (второй результат среди участников).
| Метрика / Бенчмарк | Результат MOSS-Live | Статус |
|---|---|---|
| Полнодуплексное взаимодействие (FDB v1-v3) | Лучший результат среди всех участников | #1 |
| Успешность вызова инструментов (FDB v3) | 51% | Ничья за #1 |
| Многошаговые задачи (τ-Voice) | 57.93% | #2 |
| Понимание речи и диалог | Ведущие показатели по непрерывности | Top-tier |
Практическое применение
Система уже демонстрируется в сценариях планирования поездок, участия в групповых встречах и туристической навигации. AI может планировать маршрут, пока пользователь говорит, искать билеты в фоне и напоминать о деталях, когда тема возвращается к предыдущим обсуждениям. Это закрывает потребность в «умном ассистенте», который не просто выполняет команды, а ведет непрерывный, контекстно-зависимый диалог.
Источник: Moss ↗