Новый стандарт голосовых агентов
Mistral AI анонсировала выход семейства моделей Voxtral 3, предназначенных для создания end-to-end голосовых агентов. В отличие от предыдущих решений, где задачи транскрипции и синтеза речи часто решались раздельно, Voxtral 3 предлагает единый конвейер (pipeline), объединяющий прослушивание, логическое осмысление, вызов инструментов (tool calling) и синтез ответа в реальном времени. Это позволяет агентам не просто диктовать текст, а вести сложные многошаговые диалоги, например, бронировать записи к врачу или обрабатывать запросы в колл-центрах.
Технические характеристики и бенчмарки
Семейство состоит из двух основных моделей для распознавания речи (Speech-to-Text) и одной для синтеза (Text-to-Speech). Модель Voxtral Small Transcribe 3 демонстрирует state-of-the-art результаты в мультиязычной транскрипции и диаризации (определении, кто говорит). Согласно бенчмаркам Artificial Analysis, модель превосходит конкурентов, включая Whisper large-v3, Gemini 3.5 Transcribe и Scribe v2.
Ключевые метрики производительности Voxtral Small Transcribe 3:
| Метрика | Результат Voxtral Small Transcribe 3 | Сравнение (конкуренты) | Примечание |
|---|---|---|---|
| Word Error Rate (WER) / FLEURS 45 | 4.0% (Inferred) | Whisper: 4.1%, Gemini 3.5: 4.5% | Ниже — лучше. Автоопределение языка. |
| Diаризация (cpWER) | 18.4% | Pyannote: 18.6%, Microsoft AI: 19.0% | Concatenated Minimum Permutation WER. Ниже — лучше. |
| Keyphrase Recall (с контекстом) | 94.6% | Scribe v2: 84.0%, Gemini 3.5: 80.9% | Точность распознавания ключевых слов с учетом доменной лексики. |
Синтез речи и Pro Voice
Модель Voxtral Mini TTS 3 (Text-to-Speech) поддерживает более 35 языков и 50 диалектов. Ее особенность — адаптация эмоций, темпа и акцентов в зависимости от контекста разговора. Для профессионального использования Mistral предлагает функцию Pro Voice: клонирование голоса с воспроизведением эмоциональной окраски и стиля говорящего требует всего 30 минут аудио, что значительно эффективнее аналогов.
Доступность и цены
Модели доступны через API Mistral, размещенное в ЕС, что обеспечивает суверенность данных. Модель Voxtral Mini Transcribe 3 (4 млрд параметров) оптимизирована для скорости и стоит $0.0035 за минуту транскрипции. Поддерживается функция контекстного смещения (context biasing), позволяющая повышать точность распознавания специфических терминов без дообучения модели.
Бенчмарки
| Бенчмарк | Voxtral Small Transcribe 3 | Gemini 3.5 Transcribe | Microsoft AI Transcribe 2 | Pyannote Orchestrator (Precision 3) | Scribe v2 | Voxtral Mini Transcribe 3 |
|---|---|---|---|---|---|---|
| FLEURS 45 Forced | 4.1% | 4% | 4.1% | — | — | 4% |
| FLEURS 45 Inferred | 4.6% | 4.5% | 6.1% | — | — | 4.5% |
| Diarization cpWER | 18.4% | — | 20.3% | 19% | — | 18.6% |
| Keyphrase Recall (Earnings 22) | 94.6% | 94.3% | — | — | 81.4% | — |
Жирным — лучший результат в строке. Источник цифр — официальная публикация.
Источник: Mistral ↗