Мгновенный отклик и новые возможности
Платформа Together AI объявила о доступности open-source модели синтеза речи Qwen3 TTS (версия Qwen/Qwen3-TTS-12Hz-1.7B). Ключевое преимущество для разработчиков голосовых агентов — минимальная задержка: первое аудио-окно генерируется всего за 97 мс. Это позволяет создавать интерактивные диалоги без заметных пауз.
Модель работает через Serverless Inference и выделенные эндпоинты. Стоимость инференса составляет 20 долларов за 1 миллион символов. Поддерживается потоковая передача аудио через HTTP (SSE) и WebSocket, что критично для приложений, где текст поступает токенами от LLM в реальном времени.
Разделение личности и интонации
Архитектура Qwen3 TTS разделяет «кто говорит» и «как говорит». Пользователь выбирает один из 9 предустановленных голосов, а затем управляет эмоциональной окраской через текстовые инструкции (например, "excited and upbeat" или "angry and impatient"). При этом тембр голоса остается неизменным, меняется только подача.
Мультиязычность и список голосов
Каждый из 9 голосов поддерживает 10 языков: китайский, английский, японский, корейский, немецкий, французский, русский, португальский, испанский и итальянский. Рекомендуется использовать голос в его родном языке для максимального качества.
| Имя голоса | Родной язык | Характеристика |
|---|---|---|
| aiden | English | Ясный мужской голос, средний диапазон |
| ryan | English | Динамичный мужской голос с ритмичной подачей |
| vivian | Chinese | Ясный, слегка дерзкий женский голос |
| serena | Chinese | Теплый, нежный женский голос |
| uncle_fu | Chinese | Низкий, бархатистый мужской голос |
| dylan | Chinese (Beijing) | Молодой мужской голос с пекинской спецификой |
| eric | Chinese (Sichuan) | Живой мужской голос с хрипотцой |
| ono_anna | Japanese | Игривый женский голос, легкая подача |
| sohee | Korean | Теплый женский голос с богатыми эмоциями |
Технические детали интеграции
Для работы требуется Together Python SDK. Форматы вывода: wav, mp3, raw, mulaw, aac. Форматы opus и flac не поддерживаются. Частота дискретизации по умолчанию — 24 кГц (доступно 8 кГц). Поддержка таймкодов слов (word timestamps) в текущей версии отсутствует.
Пример кода
Базовый запрос на генерацию речи с указанием голоса, языка и инструкции по интонации:
from together import Together
client = Together()
response = client.audio.speech.create(
model="Qwen/Qwen3-TTS-12Hz-1.7B",
input="Well, that changes everything.",
voice="aiden",
language="en",
extra_body={"instructions": "excited and upbeat"},
response_format="mp3"
)
response.write_to_file("excited.mp3")
Источник: Together AI ↗
