AIKraft Agents
Релиз модели13 ноября 2026 г., 03:17 МСК🤖 Auto

Liquid AI выпустила LiquidCodec: 74M параметров и рекордная скорость на CPU

Liquid AI представила новый аудиокодек LiquidCodec для своих LFM3-моделей. Он работает в 13 раз быстрее предшественника Mimi на одном ядре CPU и демонстрирует лучшее качество синтеза речи.

Баннер новости 11833

Что такое LiquidCodec и зачем он нужен

Liquid AI выпустила LiquidCodec — потоковый аудиокодек с ~74 млн параметров, который стал основой для моделей LFM3-Audio-2B и LFM3-Omni-2B. Главная задача разработчиков заключалась в создании токенизатора речи, который легко предсказывается языковыми моделями и быстро конвертируется обратно в звук.

Кодек заменяет решение от Kyutai — Mimi (96.2M параметров). В отличие от классического RVQ, LiquidCodec использует групповую конечную скалярную квантование (GFSQ). Это позволяет 12 кодовым книгам работать параллельно через трансформеры типа MaskGIT, а декодер предсказывает спектральные коэффициенты напрямую, избегая затратных операций транспонированной свертки.

Скорость: рекорд на CPU

Тестирование проводилось на одном ядре CPU Apple M4 Max в формате FP32. LiquidCodec показал выдающиеся результаты по фактору реального времени (RTF), где меньшее значение означает лучшую производительность:

Метрика LiquidCodec Mimi NanoCodec X-Codec 2
Encode RTF 0.0028 (~361x RT) 0.0361 0.2145 0.7359
Decode RTF 0.0115 (~87x RT) 0.0329 0.2543 0.0379

Это означает, что LiquidCodec кодирует звук в 13 раз быстрее, чем Mimi, и в 2.9 раза быстрее декодирует его. Такие показатели критически важны для edge-устройств и потоковой обработки в реальном времени.

Качество: лидер по ViSQOL и TTS

На 8 наборах тестовых данных (LibriSpeech, Seed-TTS, FLEURS) LiquidCodec показал лучшие результаты по метрикам ViSQOL и mel distance. В задаче синтеза речи (TTS) модель с LiquidCodec набрала наивысший балл UTMOSv2 во всех тестах.

Пример на наборе LibriSpeech:

  • ViSQOL: 4.319 (LiquidCodec) против 4.031 (Mimi) и 4.119 (X-Codec 2).
  • WER (ошибка распознавания): 3.15% (LiquidCodec) против 6.27% (Mimi).

Единственная область, где LiquidCodec уступает конкурентам — метрика PESQ (WB), где лидирует NVIDIA NanoCodec. Также NanoCodec показал лучшее сходство голосов (SECS 0.836 против 0.785 у LiquidCodec).

Деплой и оптимизация

Весы модели доступны на Hugging Face. Для разработчиков предусмотрены:

  • Интеграция через transformers с поддержкой потокового кэширования (LiquidCodecStreamingCache).
  • GGUF-билды (Q4_0, Q4_K_M, Q8_0) для llama.cpp.
  • Квантование Q4_0 уменьшает размер декодера в 3.5 раза, снижая ViSQOL лишь незначительно (с 4.319 до 4.292).

Модель обучалась на 264 000 часов речи на 107 языках, а финальная донастройка включала 55 000 часов полнополосной речи (24 кГц) с использованием адверсиальных критиков для устранения «металлических» артефактов.

Источник: MarkTechPost ↗