Суть прорыва: LFM в реальном времени
Liquid AI анонсировала RIPL (Real-time Inference Pipeline) — специализированный движок для обслуживания Liquid Foundation Models (LFM). Главная цель проекта — устранить компромисс между качеством генеративных моделей и скоростью классических алгоритмов. RIPL позволяет возвращать полный ответ модели в живом контуре запроса (live request path) за менее 50 мс, сохраняя эту скорость при пиковых нагрузках.
Это критически важно для сценариев, где задержка в секунды недопустима: ранжирование поиска, проверка мошенничества, авторизация платежей и переписывание запросов в adtech. Разработчики теперь могут заменить градиентный бустинг на генеративные модели, не нарушая бюджет по задержке.
Архитектура и производительность
Движок оптимизирован для моделей серии LFM2.5 (от 230M до 2.6B параметров), работающих на гибридной архитектуре: комбинация двойных затворных сверточных блоков (convolution blocks) и блоков GQA. Тестирование проводилось на одном GPU NVIDIA B200.
Ключевое преимущество RIPL не только в самой модели, но и в движке. При сравнении одной и той же модели LFM2.5-350M на RIPL и vLLM, линия p95 задержки на RIPL значительно ниже, что изолирует выигрыш от оптимизации инфраструктуры.
Сравнение с конкурентами: цифры и бенчмарки
Liquid AI представила данные, демонстрирующие превосходство RIPL над классическими LLM (Qwen3.5) на vLLM. Ниже приведены результаты тестов p95 end-to-end latency:
| Рабочая нагрузка (Input → Output) | Загрузка (req/s) | LFM2.5 на RIPL (p95) | Qwen3.5 на vLLM (p95) | Ускорение |
|---|---|---|---|---|
| 1B класс, 32 → 32 | 1,000 | 34.6 мс (1.2B) | 498 мс (0.8B) | 14.4x |
| 1B класс, 256 → 128 | 400 | 155.8 мс (1.2B) | 4,431 мс (0.8B) | 28.4x |
| 2B класс, 32 → 32 | 1,000 | 76.4 мс (2.6B) | 586.8 мс (2B) | 7.7x |
| 2B класс, 256 → 128 | 300 | 449.1 мс (2.6B) | 2,499 мс (2B) | 5.6x |
Наихудший сценарий (модель 2.6B, длинный запрос) показал ускорение в 5.6 раза, а лучший (1.2B, короткий запрос) — в 28.4 раза. Важно отметить, что для более длинных запросов суб-50 мс достижение не всегда возможно, но разрыв с классическими LLM остается колоссальным.
Реальные кейсы: Shopify
RIPL уже используется в продакшене. Shopify внедряет LFM для задач, чувствительных к задержкам, таких как улучшение поиска. В условиях реальной нагрузки инференс выполняется со скоростью менее 20 мс. По данным Liquid AI, это достигается при использовании на 50% меньшего количества параметров по сравнению с альтернативами, что дает ускорение в 2–10 раз.
Технические детали и ограничения
Движок RIPL является проприетарным (enterprise-only) решением. Модели LFM2.5 имеют открытые веса под лицензией LFM Open License v1.0, но сам движок обслуживания закрыт. Архитектура моделей включает специфические слои: например, LFM2.5-1.2B-Instruct состоит из 16 слоев (10 сверточных + 6 GQA), а LFM2.5-2.6B — из 30 слоев (22 сверточных + 8 GQA).
Сравнение с Qwen3.5 также показывает разницу в контекстном окне и лицензиях: Qwen3.5 поддерживает до 262k токенов и лицензию Apache 2.0, тогда как LFM2.5 предлагает 32k–131k токенов и собственную лицензию. Однако для задач реального времени, где важна скорость, а не объем контекста, RIPL предлагает беспрецедентную производительность.
Источник: MarkTechPost ↗