Что нового в семействе Voxtral 3
Mistral AI официально представила Voxtral 3 — комплексное решение для голосовых AI-агентов. В релиз вошли четыре модели и единый SDK, построенный на базе LiveKit. Все модели доступны в публичной превью через Mistral API (EU, US, Global endpoints). Архитектура объединяет прослушивание, рассуждение, вызов инструментов и синтез речи в один конвейер.
Ключевые компоненты семейства:
- Voxtral Small Transcribe 3: флагманская модель для пакетной транскрипции и диаризации. Поддерживает 50 языков, включая 24 официальных языка ЕС. Имеет функции контекстного смещения (context biasing) для повышения точности по ключевым терминам.
- Voxtral Mini Transcribe 3: легковесная модель с 4 млрд параметров для более дешевых и быстрых пакетных задач. Контекстное окно — 32k токенов.
- Voxtral Mini Transcribe Realtime 3: потоковое распознавание речи (ASR) через WebSocket с детекцией конца реплики.
- Voxtral Speech 3 (TTS): модель синтеза речи. Поддерживает контроль эмоций, темпа и акцента. Время до первого аудио (TTFA) составляет ~90 мс. Есть функция Pro Voice, адаптирующая стиль говорящего по 30 минутам аудио.
Точность и бенчмарки: сравнение с конкурентами
Mistral позиционирует Small Transcribe 3 как лидера в области диаризации и мультиязычной пакетной транскрипции. Модель заняла 3-е место в независимом рейтинге Artificial Analysis с показателем 2.1% AA-WER (Average Word Error Rate). Однако в режиме реального времени (realtime) модель уступает Google Gemini 3.5 Realtime, демонстрируя 7.4% WER при задержке 240 мс против 4.2% у Gemini.
Ниже приведено сравнение ключевых метрик Voxtral Small Transcribe 3 с основными конкурентами:
| Метрика / Модель | Voxtral Small Transcribe 3 | MAI-Transcribe-2 (Microsoft) | Scribe v2 (ElevenLabs) | Gemini 3.5 Transcribe |
|---|---|---|---|---|
| FLEURS 45 WER (forced / inferred) | 4.1% / 4.0% | 4.1% / 4.0% | 4.9% / 4.9% | 6.1% / 4.5% |
| Diarization cpWER | 18.4% | 20.3% | 23.0% | 38.4% |
| AA-WER (Artificial Analysis) | 2.1% | 2.0% | 2.2% | 2.6% |
| AA Speed Factor | 65.8x | 307.5x | 65.4x | 89.5x |
| Цена за 1000 мин (AA) | $4.00 | $1.67 | $3.67 | $5.00 |
Как работает Voice Agent SDK
SDK на базе LiveKit реализует трехэтапный потоковый пайплайн:
- Realtime Transcribe 3: слушает аудио и определяет момент окончания речи пользователя.
- LLM (например, Mistral Small 4): анализирует контекст, принимает решение и вызывает инструменты (function calling).
- Voxtral Speech 3: генерирует ответ голосом, сохраняя интонацию и стиль предыдущего диалога.
Каждый полный цикл (turn) занимает менее 1 секунды. Агенты поддерживают работу через SIP (телефонные звонки) и WebRTC (браузеры/приложения). Архитектура позволяет заменять отдельные компоненты (LLM, голос, язык) независимо.
Стоимость и доступность
Ценообразование Mistral конкурентно, особенно для пакетных задач. Модель Voxtral Mini Transcribe 3 стоит $0.0035/мин, Small Transcribe 3 — $0.004/мин. Синтез речи (TTS) оценивается в $13 за 1 млн символов, что дешевле предложений от OpenAI, Deepgram и ElevenLabs. Голосовой API с моделью Mistral Small 4 стоит $0.04/мин.
Модели доступны через Mistral API (включая эндпоинты с нулевым хранением данных на OpenRouter) и могут быть развернуты на собственной инфраструктуре через Mistral Sales. Открытые веса (open weights) в релизе не представлены.
Бенчмарки
| Бенчмарк | ElevenLabs Scribe v2 | Gemini 3.5 Transcribe | MAI-Transcribe-2 | Voxtral Small Transcribe 3 |
|---|---|---|---|---|
| FLEURS 45 WER (forced) | 4.9% | 6.1% | 4.1% | 4.1% |
| FLEURS 45 WER (inferred) | 4.9% | 4.5% | 4% | 4% |
| Diarization cpWER | 23% | 38.4% | 20.3% | 18.4% |
| AA-WER (Artificial Analysis) | 2.2% | 2.6% | 2% | 2.1% |
Жирным — лучший результат в строке. Источник цифр — официальная публикация.
Источник: MarkTechPost ↗