Замена Apple Speech на сторонние движки
Команда Hugging Face представила пакет AnySpeechRecognizer, который расширяет стандартный фреймворк Apple Speech. Главная цель — дать разработчикам выбор между проприетарным движком Apple и открытыми моделями, работающими локально через Core ML. Это позволяет снизить затраты на облачные API и повысить приватность данных, так как аудио обрабатывается непосредственно на устройстве (M-series чипы).
Пакет сохраняет совместимость с API Apple, поэтому замена сводится к изменению импорта и инициализации модели. Поддерживается потоковая передача (live input) и работа с файлами, а также добавлена функция диаризации (распознавание говорящих), которой нет в базовом фреймворке Apple.
Сравнение моделей: NVIDIA Parakeet vs Alibaba Qwen3
В пакет интегрированы две ключевые модели. NVIDIA Parakeet v3 и его улучшенная версия Ultra работают на Core ML, поддерживают 25 европейских языков и обеспечивают высокую скорость. Alibaba Qwen3-ASR (0.6B и 1.7B) поддерживает 30 языков и 22 китайских диалекта, но работает медленнее и требует больше памяти, так как использует GPU-вычисления.
| Модель | Размер | Языки | Особенности | Лицензия |
|---|---|---|---|---|
| Parakeet TDT 0.6B v3 | ~600 MB | 25 европейских | Автоопределение языка, низкая задержка | CC BY 4.0 |
| Parakeet Ultra | ~600 MB | 25 европейских | Повышенная точность (post-trained) | CC BY 4.0 |
| Qwen3-ASR 0.6B | ~0.9 GB | 30 языков + 22 диалекта | Работа на GPU, медленнее Parakeet | Apache 2.0 |
| Qwen3-ASR 1.7B | ~2.4 GB | 30 языков + 22 диалекта | Максимальная точность для сложных диалектов | Apache 2.0 |
Метрики точности (Word Error Rate)
Тестирование проводилось на Mac Studio M4 Max. Результаты показывают, что Parakeet Unified и Ultra часто превосходят встроенный транскрибер Apple, особенно в режиме работы с файлами. Однако для сложных сценариев (перебивающие говорящиеся) точность падает у всех моделей.
| Конфигурация | test-clean (LibriSpeech) | test-other (LibriSpeech) |
|---|---|---|
| Parakeet Unified (file) | 1.43% | 2.19% |
| Parakeet v3 (file) | 1.55% | 2.78% |
| Apple Speech (file) | 2.12% | 3.97% |
| Parakeet v3 (live) | 4.73% | 4.29% |
Диаризация и технические детали
Пакет добавляет модуль SpeakerDiarizer на базе NVIDIA Streaming Sortformer. Он позволяет отслеживать до четырех говорящих одновременно, даже если они перебивают друг друга. Для оптимизации потоковой передачи добавлен 8-секундный энкодер, который сокращает время анализа живого аудио на треть, хотя и немного увеличивает ошибку распознавания слов.
Модели доступны на Hugging Face Hub в формате Core ML. Загрузка происходит только по запросу приложения, кэшируясь в стандартной директории Hugging Face, что позволяет делить модели между Swift-приложениями и Python-скриптами.
Бенчмарки
| Бенчмарк | Parakeet Ultra, file | Parakeet Ultra, live | Parakeet v3, file | Parakeet v3, live |
|---|---|---|---|---|
| LibriSpeech test-clean | 1.66% | 2.65% | 1.55% | 4.73% |
| LibriSpeech test-other | 2.55% | 3.28% | 2.78% | 4.29% |
Жирным — лучший результат в строке. Источник цифр — официальная публикация.
Источник: Hugging Face blog ↗