RealtimeVAD
Ускоряет определение конца речи в голосовых ассистентах, сокращая задержку ответа.
Что это
RealtimeVAD — это инструмент для оптимизации голосовых ассистентов, который предоставляет сигнал об окончании речи раньше, чем стандартные детекторы. По умолчанию он опережает популярную модель Silero VAD на 92 мс, а в быстром режиме — на 130 мс, что критично для систем с генерацией по спецификации (speculative generation).
Метод работает за счет использования 10-миллисекундного детектора энергии с адаптивным порогом, учитывающим фоновый шум и уровень голоса говорящего. Алгоритм сохраняет Silero VAD для базовой классификации речи, но добавляет ранний сигнал остановки, что позволяет быстрее запускать распознавание и ответ LLM.
Решение особенно полезно для разработчиков голосовых интерфейсов, где важна минимальная задержка. Инструмент поддерживает интеграцию через LiveKit и доступен как плагин, что упрощает его внедрение в существующие конвейеры обработки аудио.
Пользователи отмечают, что метод может увеличивать количество ложных срабатываний, однако в контексте быстрых голосовых ассистентов это компенсируется возможностью мгновенного прерывания генерации, если пользователь продолжает говорить.