OpenBMB/VoxCPM

Что это за инструмент

VoxCPM2 — это модель синтеза речи (TTS) без дискретного токенизатора, генерирующая высококачественный звук напрямую через диффузионную архитектуру.

Зачем нужен

Инструмент решает задачу создания естественной, выразительной речи на 30 языках с поддержкой клонирования голоса и его генерации по текстовому описанию. Полезен для получения студийного аудио (48kHz) без внешних апскейлеров и с возможностью потоковой генерации.

Что можно реализовать

• Генерация голоса по текстовому описанию (Voice Design) без референсных аудиозаписей
• Точное клонирование голоса (Controllable/Ultimate Cloning) с сохранением тембра и эмоций
• Синтез многоязычного контента (включая диалекты китайского) без указания языковых тегов
• Создание голосовых ассистентов с низкой задержкой (RTF ~0.3) для real-time приложений

Ключевые возможности

• Tokenizer-Free архитектура: прямая генерация непрерывных представлений речи через diffusion autoregressive
• Поддержка 30 языков и китайских диалектов (например, кантонский, уйгурский)
• Генерация аудио 48kHz из референса 16kHz с встроенным супер-разрешением (AudioVAE V2)
• Потоковая генерация с ускорением через vLLM-Omni или Nano-vLLM
• Лицензия Apache-2.0, разрешающая коммерческое использование

👤 Кому подойдёт: разработчики AI-приложений, исследователи в области синтеза речи, создатели контента, бизнесы, внедряющие голосовые интерфейсы