Суть эксперимента: легкость против точности
Лаборатория Cactus Compute представила модель Whistle — решение для преобразования речи в текст (STT), которое весит всего 16.9 МБ. В отличие от традиционных моделей, требующих GPU, Whistle работает на CPU, поддерживает 7 языков и возвращает не только транскрипт, но и временные метки слов (timestamps) и вероятности. Ключевой вопрос теста: может ли такая «легкая» модель конкурировать с эталоном индустрии — OpenAI Whisper Base?
Для проверки использовался фреймворк cactus-needle версии 3.2.0. Тестирование проводилось на датасете LibriSpeech (сэмплы test-clean и test-other) с использованием метрики Word Error Rate (WER). Сравнение проводилось между Whistle, Whisper Tiny и Whisper Base на идентичных аудиоклипах.
Ключевые метрики и результаты
Тесты выполнялись на процессоре Apple M4. Результаты показали, что Whistle демонстрирует значительное преимущество в скорости декодирования, особенно на коротких аудиофрагментах. При этом точность (WER) остается на уровне Whisper Base, а в некоторых сценариях даже превосходит жадный (greedy) поиск Whisper Base на сложных выборках (test-other).
| Параметр | Cactus Whistle | Whisper Base | Whisper Tiny |
|---|---|---|---|
| Размер весов | 16.9 МБ | ~140 МБ | ~39 МБ |
| Платформа | CPU ( Needle 3 engine) | CPU / GPU | CPU / GPU |
| Точность (WER) | Сопоставима с Base | Эталон | Ниже, чем у Base |
| Скорость (короткие клипы) | Выше (33 мс на 3.5 сек) | Ниже | Выше | r>
| Доп. функции | Timestamps, 7 языков | Timestamps, 99 языков | Timestamps, 99 языков |
Технические детали и ограничения
Модель использует движок Needle 3 (версия 3.3.0), который оптимизирован для работы с весами формата .cact. В ходе тестирования было выявлено важное ограничение: при обработке аудио длиннее 30 секунд движок может «молча» пропускать среднюю часть аудиофайла. Это критично учитывать при разработке агентов, работающих с длинными диалогами.
Также тестировалась поддержка keyword biasing (приоритет ключевых слов) и конвертация речи в вызовы инструментов (speech-to-tool calls). Whistle показала способность корректно обрабатывать шум и различать спикеров, хотя для потоковой передачи (streaming) задержка (latency) остается предметом дальнейшей оптимизации.
Почему это важно для разработчиков
Снижение веса модели до 16.9 МБ открывает возможности для развертывания STT-решений в ресурсоограниченных средах: на edge-устройствах, в браузере (через WebAssembly) или на дешевых серверах без GPU. Если задача не требует распознавания 99 языков, а важна скорость отклика и низкое потребление ресурсов, Whistle становится серьезной альтернативой Whisper Base.
- Репродуктивность: Код фиксирует ревизии Hugging Face репозиториев (SHA-256 хеши), что гарантирует стабильность результатов.
- Интеграция: Модель легко интегрируется через Python-пакет
cactus-needle. - Будущее: Улучшение обработки длинных аудиофрагментов станет следующим шагом для полной замены Whisper в некоторых use-cases.
Источник: MarkTechPost ↗