Революция в эффективности: 150x скорость на бюджетном железе
Разработчики представили LuxTTS — легковесную модель преобразования текста в речь (TTS), которая бьет рекорды по соотношению качества и скорости. Модель способна генерировать речь со скоростью, превышающей 150 раз от скорости реального времени на одном GPU. Это делает LuxTTS идеальным выбором для приложений, требующих мгновенного отклика, таких как голосовые помощники или интерактивные игры.
Ключевое преимущество LuxTTS — экстремальная эффективность. Модель помещается в 1 ГБ видеопамяти (VRAM), что позволяет запускать её на любых современных локальных GPU, включая мобильные решения и старые карты. При этом на CPU генерация также происходит быстрее, чем в реальном времени.
Качество звука и клонирование голоса
В отличие от большинства современных TTS-моделей, ограниченных частотой дискретизации 24 кГц, LuxTTS использует кастомный вокодер Vocos, обеспечивающий генерацию аудио с частотой 48 кГц. Это гарантирует высокую четкость и естественность звучания. Модель демонстрирует результаты клонирования голоса, сопоставимые с моделями, которые в 10 раз больше по размеру.
Технические характеристики и сравнение
LuxTTS базируется на архитектуре ZipVoice, но была дистиллирована до всего 4 шагов генерации с улучшенной техникой сэмплирования. Ниже приведено сравнение ключевых параметров:
| Параметр | LuxTTS | Стандартные TTS модели |
|---|---|---|
| Скорость генерации | > 150x realtime (GPU) | Обычно < 1x - 5x realtime |
| Требуемая VRAM | ~1 ГБ | Часто > 4-8 ГБ |
| Частота дискретизации | 48 кГц | Обычно 24 кГц |
| Шагов генерации | 4 (дистиллированная) | Обычно 10-50+ |
| Поддержка CPU | Да (быстрее realtime) | Часто медленно или нет |
Управление качеством через параметры сэмплирования
Разработчики предоставили гибкий контроль над процессом генерации через несколько параметров, позволяя балансировать между скоростью, качеством и произношением:
- num_steps: Количество шагов генерации. Значение 3-4 является оптимальным для баланса скорости и качества.
- t_shift: Параметр сэмплирования. Более высокие значения могут улучшить качество, но ухудшить точность произношения (WER). Более низкие значения снижают ошибки произношения.
- speed: Контролирует скорость аудио (1.0 — нормальная скорость).
- return_smooth: При значении
Trueзвук становится более плавным, но может потерять чистоту. Рекомендуется использовать, если слышны металлические артефакты. - ref_duration: Длительность референсного аудио. Уменьшение этого значения ускоряет инференс, но может вызвать артефакты (рекомендуется 1000, если есть проблемы).
Как запустить и интеграция
Модель доступна под лицензией Apache-2.0. Установка проста и требует только Python-библиотеки zipvoice и luxvoice. Поддерживаются запуск на CUDA (GPU), CPU и MPS (для Mac). Для достижения максимальной скорости (почти в 2 раза быстрее) рекомендуется использовать float16, хотя текущая стабильная версия использует float32.
Сообщество уже разработало обертки для Gradio, ComfyUI и ONNX, что значительно упрощает интеграцию LuxTTS в существующие рабочие процессы и интерфейсы.
Источник: Github ↗