Что такое Phonon и почему это важно
Компания Gradium, спин-офф лаборатории Kyutai, открыла исходный код семейства моделей генерации речи Phonon. Ключевая инновация — возможность запуска высококачественной озвучки непосредственно на устройстве пользователя (on-device) без обращения к облачным серверам. Это решает проблемы конфиденциальности, задержек и стоимости API-вызовов.
Модель Phonon 31m доступна под разрешительной лицензией Apache 2.0, что делает её привлекательной для коммерческого использования. Архитектура построена на causal transformer backbone с 6 слоями и шириной 512, а генерация аудио происходит через flow-matching head и декодер Mimi, выдающий сигнал 24 kHz PCM.
Производительность и скорость
Phonon оптимизирован для работы на процессорах (CPU), мобильных чипах и в браузерах (WASM/WebGPU). Тестирование на MacBook Air M5 показало время генерации первого аудиофрагмента всего в 6.9 мс, что в 29.9 раз быстрее реального времени. На Raspberry Pi 5 модель стартует за 38 мс и работает с ускорением 3.7x. Для сравнения, популярная модель Kokoro требует 517 мс на старте и не поддерживает стриминг на CPU.
Точность и сравнение с конкурентами
В слепых тестах прослушивания (1,189 респондентов) Phonon 31m набрал 2098 Elo, опередив Kokoro (2043) и NeuTTS (2034). На сложном наборе данных с телефонами и кодами (Hard-set) модель показала ошибку 1.70% WER, что вдвое лучше Kokoro (3.50%). Однако на базовом наборе Seed-TTS лидирует Kokoro с 0.45% WER против 0.51% у Phonon.
| Характеристика | Phonon 31m | Phonon 40m | Kokoro-82M | NeuTTS Nano |
|---|---|---|---|---|
| Параметры | 31M | 40M | 82M | ~116.8M (active) |
| Размер (q8) | 64.5 MB | 74.6 MB | Не раскрыт | Не раскрыт |
| Лицензия | Apache 2.0 | CC BY-NC 4.0 | Apache 2.0 | NeuTTS Open 1.0 |
| Hard-set WER (EN) | 1.70% | 2.11% | 3.50% | 8.71% |
| Seed-TTS WER (EN) | 0.51% | 0.48% | 0.45% | 0.62% |
| First Audio (M5 CPU) | 6.9 ms | 8.8 ms | 517 ms | Не раскрыто |
Деплой и экосистема
Для разработчиков доступен рантайм на Rust, Python, Swift, C/C++ и WASM. Модель интегрируется с Transformers, MLX-Audio, Ollama и LM Studio. Также предоставляется OpenAI-совместимый сервер и WebSocket API. Multilingual версия Phonon 40m поддерживает 5 языков, но распространяется под ограничительной лицензией CC BY-NC 4.0.
Источник: MarkTechPost ↗