QuentinFuxa/WhisperLiveKit

Что это за инструмент

WhisperLiveKit — это инструмент с открытым исходным кодом для локальной транскрипции речи в реальном времени с минимальной задержкой, поддерживающий распознавание, перевод и диаризацию спикеров.

Зачем нужен

Инструмент решает проблему плохого качества транскрипции при обработке коротких аудиофрагментов, характерную для стандартных моделей Whisper, за счет использования state-of-the-art алгоритмов одновременного распознавания (Simul-Whisper) и интеллектуального буферизации. Он полезен для создания систем, где критична скорость ответа и конфиденциальность данных, так как работает локально и предоставляет совместимые с OpenAI/Deepgram API.

Что можно реализовать

• Реализация голосовых ассистентов с мгновенным ответом (low-latency) без задержек на отправку полного аудиофайла.
• Создание систем субтитрирования подкастов, вебинаров или онлайн-трансляций в реальном времени.
• Локальная обработка аудиозаписей встреч с автоматическим разделением спикеров (diarization) и переводом на 200+ языков.
• Интеграция голосового ввода в десктопные или мобильные приложения (поддержка SwiftUI, WebSocket) с использованием OpenAI-совместимого API.

Ключевые возможности

• Ultra-low-latency транскрипция благодаря алгоритмам Simul-Whisper и AlignAtt, обеспечивающим потоковую обработку без потери контекста.
• Поддержка диаризации спикеров в реальном времени с использованием Streaming Sortformer.
• Мгновенный перевод речи на 200+ языков с помощью дистиллированной модели NLLB.
• Гибкая архитектура с поддержкой различных бэкендов (CUDA, Apple Silicon MLX, CPU) и моделей (Whisper, Qwen3-ASR, FunASR).
• Совместимость с API OpenAI (REST) и Deepgram (WebSocket), что упрощает интеграцию с существующими SDK.

👤 Кому подойдёт: разработчики, создающие голосовые интерфейсы и сервисы обработки аудио; инженеры по машинному обучению, интересующиеся streaming ASR; бизнес, требующий локального хранения и обработки конфиденциальных аудиоданных.