Что такое Kinference и как это работает
Kinference (версия v0.1.0-alpha.7) написан на Rust и лицензирован под Apache 2.0. Это не замена vLLM, а слой управления, который стоит перед пулом воркеров vLLM. Система решает, куда направить каждый запрос, анализируя состояние KV-кэша и очереди.
Архитектура состоит из двух компонентов: шлюза трафика и обработчика выводов (inference handler), работающего через gRPC. Конфигурация полностью декларативна и управляется через 5 CRD в Kubernetes:
- GatewayBackend — определение бэкендов;
- InferencePolicy — правила маршрутизации;
- InferencePool — пулы ресурсов;
- InferenceProvider — внешние провайдеры;
- InferenceWorkerSet — набор воркеров.
Бенчмарки: разрыв в производительности
Buoyant протестировала Kinference против стандартного Kubernetes Service (kube-proxy) на кластере с 3 GPU NVIDIA L40S и моделью Qwen3.8-27B-FP8. Ключевой метрикой стало время до первого токена (TTFT). В сценариях, где запросы имеют общие префиксы (типично для агентов и RAG), Kinference показал ошеломляющий результат.
| Рабочая нагрузка | Kubernetes Service (Baseline) | Kinference | Изменение |
|---|---|---|---|
| Control (без общих префиксов) | 6.92 s | 6.83 s | Нет значимой разницы |
| Shared-prefix (общие префиксы) | 6.88 s | 0.31 s | -95% |
| Multiturn (многошаговые диалоги) | 1.70 s | 0.59 s | -65% |
Помимо скорости, выросла пропускная способность (goodput) при соблюдении SLA по задержке. На нагрузке shared-prefix Kinference обработал 103.0 запросов в минуту против 14.0 у базового Kubernetes (рост в 7.4 раза). На multiturn — 82.7 против 23.8 req/min (рост в 3.5 раза).
Умные политики маршрутизации
Главное преимущество Kinference — гибкость правил. Система предсказывает TTFT для каждого кандидата, учитывая перекрытие кэша и длину очереди. Поддерживаются сценарии:
- Simple to cheaper: направление простых запросов на меньшие модели, если кэш большой модели не дает преимущества.
- Burst to cloud: отправка запросов во внешние провайдеры (например, Bedrock), если локальные воркеры перегружены.
- PII stays local: автоматический отказ от внешних провайдеров при обнаружении персональных данных.
- Batch on idle GPUs: пакетная обработка только на узлах с загрузкой KV-кэша ниже 70%.
Сравнение с конкурентами
Kinference занимает нишу «управления и governance», в то время как другие решения фокусируются на сырой производительности движков.
| Функция | Kinference | llm-d | NVIDIA Dynamo |
|---|---|---|---|
| Лицензия | Apache 2.0 | Apache 2.0 | Apache 2.0 |
| Версия | v0.1.0-alpha.7 | v0.7 (May 2026) | 1.x |
| Роутинг с учетом KV-кэша | Да (предиктивный TTFT) | Да (prefix-cache) | Да (KV-aware router) |
| Декларативные CRD политики | Да | Нет в README | Нет в README |
| Burst на внешние провайдеры | Да | Нет в README | Нет в README |
В то время как llm-d и NVIDIA Dynamo показывают лучшие результаты на сырой пропускной способности (до 2x ускорения TTFT против round-robin), Kinference предлагает уникальные инструменты для мульти-тенантности, аллиасинга моделей и управления доступом, что критично для корпоративных сред.
Что еще нужно знать
Проект находится на стадии alpha. В будущих релизах запланированы rate limiting, классификаторы трафика и поддержка API Anthropic. Установка требует наличия GPU-enabled Kubernetes и Helm-чартов. Для мониторинга используются стандартные метрики Prometheus (TTFT, ITL, latency) и готовые дашборды Grafana.
Источник: MarkTechPost ↗