Что такое LiquidCodec и зачем он нужен
Liquid AI выпустила LiquidCodec — потоковый аудиокодек с ~74 млн параметров, который стал основой для моделей LFM3-Audio-2B и LFM3-Omni-2B. Главная задача разработчиков заключалась в создании токенизатора речи, который легко предсказывается языковыми моделями и быстро конвертируется обратно в звук.
Кодек заменяет решение от Kyutai — Mimi (96.2M параметров). В отличие от классического RVQ, LiquidCodec использует групповую конечную скалярную квантование (GFSQ). Это позволяет 12 кодовым книгам работать параллельно через трансформеры типа MaskGIT, а декодер предсказывает спектральные коэффициенты напрямую, избегая затратных операций транспонированной свертки.
Скорость: рекорд на CPU
Тестирование проводилось на одном ядре CPU Apple M4 Max в формате FP32. LiquidCodec показал выдающиеся результаты по фактору реального времени (RTF), где меньшее значение означает лучшую производительность:
| Метрика | LiquidCodec | Mimi | NanoCodec | X-Codec 2 |
|---|---|---|---|---|
| Encode RTF | 0.0028 (~361x RT) | 0.0361 | 0.2145 | 0.7359 |
| Decode RTF | 0.0115 (~87x RT) | 0.0329 | 0.2543 | 0.0379 |
Это означает, что LiquidCodec кодирует звук в 13 раз быстрее, чем Mimi, и в 2.9 раза быстрее декодирует его. Такие показатели критически важны для edge-устройств и потоковой обработки в реальном времени.
Качество: лидер по ViSQOL и TTS
На 8 наборах тестовых данных (LibriSpeech, Seed-TTS, FLEURS) LiquidCodec показал лучшие результаты по метрикам ViSQOL и mel distance. В задаче синтеза речи (TTS) модель с LiquidCodec набрала наивысший балл UTMOSv2 во всех тестах.
Пример на наборе LibriSpeech:
- ViSQOL: 4.319 (LiquidCodec) против 4.031 (Mimi) и 4.119 (X-Codec 2).
- WER (ошибка распознавания): 3.15% (LiquidCodec) против 6.27% (Mimi).
Единственная область, где LiquidCodec уступает конкурентам — метрика PESQ (WB), где лидирует NVIDIA NanoCodec. Также NanoCodec показал лучшее сходство голосов (SECS 0.836 против 0.785 у LiquidCodec).
Деплой и оптимизация
Весы модели доступны на Hugging Face. Для разработчиков предусмотрены:
- Интеграция через
transformersс поддержкой потокового кэширования (LiquidCodecStreamingCache). - GGUF-билды (Q4_0, Q4_K_M, Q8_0) для
llama.cpp. - Квантование Q4_0 уменьшает размер декодера в 3.5 раза, снижая ViSQOL лишь незначительно (с 4.319 до 4.292).
Модель обучалась на 264 000 часов речи на 107 языках, а финальная донастройка включала 55 000 часов полнополосной речи (24 кГц) с использованием адверсиальных критиков для устранения «металлических» артефактов.
Источник: MarkTechPost ↗
