SeldonIO/MLServer

Что это за инструмент

MLServer — это open-source inference server для запуска моделей машинного обучения через REST и gRPC интерфейсы, совместимый со стандартом KFServing V2 Dataplane.

Зачем нужен

Инструмент упрощает развертывание ML-моделей в продакшене, обеспечивая единый протокол взаимодействия для различных фреймворков. Он полезен для масштабирования нагрузки за счет параллельного инференса и адаптивного батчинга, а также для бесшовной интеграции с Kubernetes-оркестраторами.

Что можно реализовать

• Развертывание моделей из разных фреймворков (например, scikit-learn, XGBoost, HuggingFace) в одном процессе.
• Интеграция ML-сервисов в существующую инфраструктуру на базе Seldon Core или KServe.
• Оптимизация производительности через адаптивный батчинг запросов и параллельный инференс.
• Создание кастомных бэкендов для моделей, не поддерживаемых из коробки, через механизм custom runtimes.

Ключевые возможности

• Поддержка мульти-модельного обслуживания (multi-model serving) в одном процессе.
• Стандартизированный V2 Inference Protocol для gRPC и REST.
• Встроенная поддержка популярных фреймворков: Scikit-Learn, XGBoost, LightGBM, CatBoost, HuggingFace, MLflow.
• Нативная масштабируемость в Kubernetes через Seldon Core и KServe.
• Возможность написания пользовательских runtimes для интеграции с любыми ML-библиотеками.

👤 Кому подойдёт: ML-инженеры, DevOps-инженеры и разработчики, занимающиеся развертыванием и масштабированием моделей машинного обучения в Kubernetes-средах.