Fish Audio представила real-time ASR: умное определение реплик и задержка 0.5 сек

Новая модель transcribe-stream-1: больше, чем просто транскрипция

Компания Fish Audio представила предварительную версию модели transcribe-stream-1, предназначенную для обработки живого аудиопотока через WebSocket. В отличие от стандартных API для распознавания речи, эта система решает сложную задачу управления диалогом: она определяет момент окончания реплики пользователя, отделяет голос от фонового шума и распознает короткие подтверждения (например, «угу» или «мм-хм»), которые не являются самостоятельными репликами.

Это критически важно для голосовых AI-агентов, которым нужно точно знать, когда отвечать, когда продолжать говорить, а когда прервать свою речь из-за вмешательства пользователя. Модель работает в режиме реального времени, отправляя события по мере поступления аудио.Ключевые метрики и возможности

Система использует продвинутую логику определения границ реплик (Turn Detection), которая опирается не только на тишину, но и на контекст сказанного. Ниже приведено сравнение новой real-time модели с классическим файловым API:

Умное управление диалогом (Smart Turn Detection)

В режиме auto (по умолчанию) сервер анализирует контекст, чтобы определить, является ли пауза концом мысли или просто моментом для раздумий. Ключевые функции включают:

• Eager end of turn: Сигнал о вероятном окончании реплики приходит через ~0.6 сек после остановки говорящего. Это позволяет LLM-агенту начать генерацию ответа раньше, чем придет финальный текст, экономя время отклика.
• Backchannel detection: Если агент говорит, а пользователь произносит «да» или «угу», система маркирует это как user_backchannel и не прерывает речь агента. Настоящее прерывание вызывает user_turn_taken.
• Background awareness: Шум, телевизор или чужие голоса в комнате помечаются как turn_kind: other, чтобы агент не реагировал на посторонние звуки.

Задержки и производительность

Измерения на продакшен-сервисе с использованием синтетической речи показали следующие задержки:

• Первый черновик текста (draft): ~0.5 секунды после начала речи.
• Сигнал eager_end_of_turn: ~0.6 секунды после окончания речи.
• Финальный текст (committed): ~1.1 секунды после окончания речи.

Система поддерживает 29 языков и использует историю разговора для улучшения распознавания имен и терминов. Для подключения требуется WebSocket-соединение с авторизацией по Bearer-токену, где аудио отправляется чанками по 80–100 мс.

Источник: Fish ↗