Революция в скорости распознавания речи
Лаборатория OpenAI выпустила новую версию своей флагманской модели распознавания речи — Whisper Turbo. Это не просто обновление, а архитектурная оптимизация на базе large-v3, которая кардинально меняет баланс между скоростью и качеством. Модель способна обрабатывать аудио в 8 раз быстрее, чем оригинальная Large-версия, при этом сохраняя сопоставимый уровень точности (WER/CER). Это делает Turbo идеальным выбором для приложений, требующих обработки звука в реальном времени.
Сравнение характеристик моделей
Whisper предлагает шесть размеров моделей, от «tiny» до «large», но Turbo выделяется как наиболее сбалансированное решение для большинства задач. Ниже приведена сравнительная таблица доступных моделей, их параметров и требований к аппаратному обеспечению (VRAM). Скорость указана относительно базовой модели Large (1x).
| Размер | Параметры | Тип модели | Требуемая VRAM | Относительная скорость |
|---|---|---|---|---|
| tiny | 39 M | tiny / tiny.en | ~1 GB | ~10x |
| base | 74 M | base / base.en | ~1 GB | ~7x |
| small | 244 M | small / small.en | ~2 GB | ~4x |
| medium | 769 M | medium / medium.en | ~5 GB | ~2x |
| large | 1550 M | large | ~10 GB | 1x |
| turbo | 809 M | turbo | ~6 GB | ~8x |
Важные нюансы использования
Несмотря на высокую скорость, у Turbo есть критическое ограничение: модель не обучена для задач перевода (speech-to-text translation). Если вам нужно перевести речь с иностранного языка на английский, необходимо использовать многоязычные модели (tiny, base, small, medium, large). Turbo возвращает исходный язык даже при указании флага --task translate.
Для английской речи модели с суффиксом .en (например, tiny.en) показывают лучшую точность, особенно на малых размерах. Однако для моделей small.en и medium.en разница с многоязычными версиями становится незначительной.
Как установить и запустить
Для работы требуется Python 3.8–3.11, PyTorch и система сборки ffmpeg. Установить последнюю версию можно через pip:
pip install -U openai-whisper(стабильная версия)pip install git+https://github.com/openai/whisper.git(последний коммит)
Пример транскрипции файла с использованием Turbo:
whisper audio.mp3 --model turbo
Код и веса моделей распространяются под лицензией MIT, что позволяет свободно использовать их в коммерческих и исследовательских проектах.
Источник: Github ↗