Прорыв в точности и поддержка 102 языков
ElevenLabs выпустила две новые модели Speech-to-Text: Scribe v3 для записанного аудио и Scribe v3 Live для обработки в реальном времени. Главная метрика — снижение Word Error Rate (WER): новая версия записанного аудио совершает на 27% меньше ошибок по сравнению с Scribe v2, а потоковая версия — на 43% меньше ошибок семантического характера (Semantic WER) относительно Scribe v2 Realtime.
Модели поддерживают 102 языка. Улучшения заметны во всех языках, но особенно значительны в сложных для распознавания: греческий язык показал рост точности на 77% в реальном времени, датский — на 54%, а хинди — на 36%.
Диаризация: разделение говорящих без компромиссов
Ключевое отличие Scribe v3 — улучшенная диазизация (определение, кто именно говорит). В записанных встречах с тремя и более участниками модель совершает на 17% меньше ошибок в идентификации спикеров. Для Scribe v3 Live это первая возможность проводить диазизацию в реальном времени с ошибкой всего 3.1% на английском языке, что значительно лучше конкурентов (5.9–7.3%).
Умное определение пауз и контроль терминологии
Scribe v3 Live использует контекст разговора, а не только тишину, для определения конца реплики. Это предотвращает преждевременное прерывание пользователя, который делает паузу для набора номера или обдумывания ответа. Также добавлена поддержка Keyterm Library — базы из тысяч терминов (бренды, сленг, медицинские названия), которые модель подгружает динамически, и возможность форматирования дат по шаблону YYYY-MM-DD.
Сравнительные метрики
Ниже приведены ключевые улучшения Scribe v3 и Scribe v3 Live по сравнению с предыдущим поколением (Scribe v2 / v2 Realtime) на основе внутренних бенчмарков ElevenLabs (включая FLEURS для 102 языков и собственный датасет из 16 языков для диазизации).
| Метрика | Scribe v3 (Recorded) | Scribe v3 Live (Realtime) | Примечание |
|---|---|---|---|
| Снижение WER (общее) | -27% | -31% (WER) -43% (Semantic WER) |
По сравнению с Scribe v2 / v2 Realtime |
| Точность диазизации (3+ спикера) | -17% ошибок | 3.1% DER (англ.) | Лучший результат среди протестированных моделей |
| Улучшение в сложных языках | Swahili: -34%, Tamil: -29% | Греческий: +77%, Датский: +54% | Наиболее заметный прогресс в low-resource языках |
| Новые функции | Keyterm prompting (до 1000 терминов) | Keyterm Library, Multilingual mode | Поддержка переключения языков в середине фразы |
Доступность и интеграция
Обе модели доступны через ElevenAPI (миграция с Scribe v2 требует изменения только одной строки кода — ID модели) и ElevenAgents. Разработчики отмечают, что даже небольшое снижение WER критично для бизнес-задач: в часовой встрече (9000 слов) разница в 2% WER означает 180 неверных слов, что может исказить смысл финансовых отчетов или медицинских записей.
Источник: Elevenlabs ↗
