В мире искусственного интеллекта, где голосовые интерфейсы становятся все более естественными и неотъемлемыми частью нашего взаимодействия с технологиями, качество и скорость обработки аудио выходят на первый план. Недавно компания Liquid AI представила свое решение этой проблемы — LiquidCodec. Это не просто очередной аудиокодек, а специализированный токенизатор речи, разработанный специально для работы в связке с большими языковыми моделями (LLM). Он лежит в основе их новых моделей LFM3-Audio-2B и LFM3-Omni-2B, предлагая разработчикам инструмент, который обещает превращать речь в токены, предсказуемые языковой моделью, и обратно в звук с беспрецедентной скоростью.
Главная интрига LiquidCodec заключается в его архитектуре. В отличие от традиционных кодеков, которые часто требуют мощных GPU для работы в реальном времени, Liquid AI заявляет о возможности запуска этого решения на одном потоке CPU. Это открывает двери для локального запуска голосовых AI-ассистентов на обычных ноутбуках и мобильных устройствах без задержек, характерных для облачных решений. Мы подробно разберем, как работает эта технология, почему она превосходит конкурентов в некоторых метриках и какие компромиссы приходится делать инженерам.
01Что такое LiquidCodec и зачем он нужен?
LiquidCodec — это аудиокодек с открытыми весами, разработанный Liquid AI. Его основная задача — сжатие аудио с частотой дискретизации 24 кГц в 12 потоков токенов. Каждый кадр длительностью 80 миллисекунд преобразуется в 12 дискретных токенов. Эта структура оптимизирована для того, чтобы языковые модели могли эффективно предсказывать следующие токены, а затем декодер мог восстановить из них исходный аудиосигнал.
До появления LiquidCodec, Liquid AI использовала в своих моделях LFM2-Audio-1.5B кодек Mimi от компании Kyutai. Mimi имел 96,2 миллиона параметров. LiquidCodec, в свою очередь, содержит около 73,6 миллиона параметров, что делает его легче, но при этом, согласно заявлениям разработчиков, более эффективным. Замена Mimi на LiquidCodec стала стратегическим шагом, направленным на улучшение скорости кодирования и декодирования, а также на повышение качества генерируемой речи.
02Архитектура: Как работает LiquidCodec?
Пайплайн обработки в LiquidCodec состоит из трех основных этапов: кодирование, квантование и декодирование. Архитектура симметрична: блоки, используемые в энкодере, идентичны тем, что используются в декодере, и заимствованы из архитектуры LFM3. Важнейшей особенностью энкодера является его полная причинность (causality). Это означает, что для кодирования текущего кадра аудио не требуется информация о будущих кадрах. Такая архитектура критически важна для потоковой передачи (streaming), где задержка должна быть минимальной, а обработка происходит в реальном времени.
Однако самое интересное происходит на этапе квантования. В большинстве современных аудиокодеков, таких как Mimi, используется остаточная векторная квантование (RVQ — Residual Vector Quantization). В RVQ каждая следующая "книга кодов" пытается закодировать ошибки, которые не смогла передать предыдущая. Это создает последовательную зависимость: нельзя предсказать токены из второй книги, не зная токенов из первой. Это замедляет работу языковых моделей, так как они вынуждены генерировать токены по одному, шаг за шагом.
Liquid AI отказалась от RVQ в пользу группового конечного скалярного квантования (GFSQ — Grouped Finite Scalar Quantization). В GFSQ группы независимы. Это позволяет всем 12 "книгам кодов" предсказываться параллельно с помощью трансформеров в стиле MaskGIT. Параллельное предсказание значительно ускоряет генерацию токенов, что напрямую влияет на скорость отклика голосового ассистента.

Декодер LiquidCodec также имеет уникальную особенность: он предсказывает спектральные коэффициенты напрямую. Это позволяет избежать использования обученных транспонированных сверток (transposed-convolution upsampling), которые часто являются узким местом и источником вычислительных затрат в традиционных декодерах волновой формы.
03Обучение модели: От данных к качеству
Обучение LiquidCodec проходило в два этапа, что позволило достичь баланса между разнообразием данных и качеством звука.
Этап 1: Использовался огромный датасет объемом 264 000 часов речи на 107 языках. На этом этапе применялись потери по форме волны (waveform losses) и спектральные потери, но без использования состязательных потерь (adversarial losses). Это помогло модели научиться базовому сжатию и восстановлению аудио.
Этап 2: Модель была дообучена на 55 000 часов полнополосной речи (с частотой 24 кГц и выше). Здесь были применены состязательные критики (adversarial critics). Целью этого этапа было устранение "металлических" артефактов, которые часто остаются после первого этапа обучения и делают звук неестественным. Использование состязательного обучения помогло сделать звук более гладким и естественным.
Завершающим шагом стало обучение с учетом квантования (QAT — Quantization-Aware Training) только для декодера. Этот шаг был направлен на оптимизацию модели для работы на периферийных устройствах (edge inference), где ресурсы ограничены.
04Скорость и эффективность
Liquid AI заявляет о впечатляющих показателях скорости. При тестировании на одном потоке CPU (на ноутбуке Apple M4 Max в формате FP32) LiquidCodec демонстрирует скорость кодирования, превышающую реальное время более чем в 360 раз. Это означает, что обработка аудио происходит в разы быстрее, чем требуется для воспроизведения в реальном времени.

Для сравнения, показатель RTF (Real-Time Factor) для кодирования у LiquidCodec составляет 0.0028, тогда как у Mimi этот показатель равен 0.0361, у NanoCodec — 0.2145, а у X-Codec 2 — 0.7359. Таким образом, LiquidCodec обеспечивает примерно в 13 раз более быстрое кодирование по сравнению с Mimi. При декодировании LiquidCodec также показывает лучшие результаты, имея RTF 0.0115 против 0.0329 у Mimi, что делает его примерно в 2.9 раза быстрее в этом аспекте.
05Качество звука и бенчмарки
Для оценки качества Liquid AI использовала 8 наборов тестовых данных, включая LibriSpeech, Seed-TTS (английский и китайский языки) и пять языков из набора FLEURS (немецкий, французский, китайский, японский, корейский). Базовыми моделями для сравнения служили X-Codec 2, NanoCodec и Mimi с 12 книгами кодов.
По метрике реконструкции (ViSQOL и mel distance) LiquidCodec показал лучшие результаты на всех 8 наборах данных. Например, на наборе LibriSpeech значение ViSQOL для LiquidCodec составило 4.319, что выше, чем у NanoCodec (4.219), X-Codec 2 (4.119) и Mimi (4.031). Это подтверждает, что новый кодек обеспечивает более высокое качество восстановления звука по сравнению с предыдущими решениями.
В задачах синтеза речи (Text-to-Speech) Liquid AI обучила идентичные модели TTS на токенах каждого из кодеков. Использование одинаковых данных (101 000 часов, 6 языков), архитектуры, вычислительных ресурсов и порядка батчей позволило сделать сравнение максимально объективным. Результаты показали, что токены LiquidCodec позволяют генерировать речь более высокого качества, что делает их предпочтительным выбором для интеграции в большие языковые модели.
06Доступность и интеграция
Весы LiquidCodec доступны на Hugging Face. Модель поддерживает работу на одном потоке CPU, что делает её доступной для широкого круга устройств. Также доступна поддержка CUDA GPU через библиотеку Transformers. Для интеграции с llama.cpp подготовлены сборки в форматах Q4_0, Q4_K_M и Q8_0, что упрощает развертывание модели в различных окружениях.
Таким образом, LiquidCodec представляет собой значительный шаг вперед в области аудиокодинга для AI. Сочетание низкой вычислительной сложности, высокой скорости обработки и отличного качества звука делает его мощным инструментом для разработчиков голосовых интерфейсов и систем генеративного аудио.
Источник: MarkTechPost ↗
