Революция в скорости: под 50 мс на пиковой нагрузке
Компания Liquid AI анонсировала Liquid RIPL (Real-time Inference Pipeline) — специализированный движок для инференса, созданный для работы в «пути» живого запроса. Главная метрика: система возвращает полный сгенерированный ответ за менее 50 мс (end-to-end), сохраняя эту скорость даже при непрерывном потоке трафика на пиковой нагрузке.
Традиционная инфраструктура (например, vLLM) оптимизирована под большие батчи и агентные воркфлоу, где задержка в несколько секунд допустима. Однако для таких задач, как скоринг поисковой выдачи, фрод-мониторинг или авторизация платежей, бюджет задержки измеряется миллисекундами. RIPL устраняет этот разрыв, позволяя использовать мощные LLM там, где раньше применялись менее точные градиентные бустинги или эмбеддинги.
Сравнение производительности: LFM2.5 против Qwen3.5
В бенчмарках Liquid AI сравнивает свои модели семейства LFM2.5 с актуальными аналогами Qwen3.5, работающими на vLLM. Результаты демонстрируют кратное превосходство в задержке (p95 latency) при сохранении качества:
| Модель Liquid (RIPL) | Модель-конкурент (vLLM) | Улучшение по p95 Latency |
|---|---|---|
| LFM2.5-1.2B | Qwen3.5-0.8B | 14.4–28.4× быстрее |
| LFM2.5-2.6B | Qwen3.5-2B | 5.6–7.7× быстрее |
Успех в продакшене: кейс Shopify
Технология уже внедрена в производство. Shopify использует LFMs для улучшения поисковой выдачи в условиях высоких нагрузок. Ключевые показатели внедрения:
- Задержка: инференс выполняется за менее 20 мс на реальных рабочих нагрузках.
- Эффективность: модели используют примерно на 50% меньше параметров, чем альтернативы, но превосходят их по качеству.
- Скорость: общий прирост скорости инференса составляет 2–10 раз без компромиссов в точности ответов.
Доступность и железо
Движок Liquid RIPL доступен для корпоративных развертываний. Поддерживаются GPU от NVIDIA, включая флагманские решения H100, H200, B200 и профессиональные карты RTX PRO 6000. Liquid AI также предоставляет инструмент для оценки задержки (latency estimator) в зависимости от выбранного GPU и формы запроса.
Источник: Liquid ↗