SeldonIO/seldon-core

Что это за инструмент

Seldon Core 2 — это MLOps/LLMOps фреймворк для развертывания, управления и масштабирования ML-моделей в Kubernetes.

Зачем нужен

Инструмент позволяет стандартизированно запускать модели (включая LLM) в продакшене на-prem или в облаке. Он упрощает управление тысячами моделей, обеспечивая мониторинг, эксперименты (A/B тесты) и эффективное использование ресурсов.

Что можно реализовать

• Развертывание модульных AI-приложений с потоковой обработкой данных через Kafka
• Проведение A/B тестов и shadow-деплоев для сравнения кандидатов моделей
• Консолидация нескольких моделей на общих инференс-серверах для экономии инфраструктуры
• Масштабирование компонентов приложений на основе нативных или кастомных логики
• Интеграция кастомной логики, детекции дрейфа и LLM в единую экосистему ML/AI продуктов

Ключевые возможности

• Поддержка конвейеров (Pipelines) с использованием Kafka для real-time стриминга
• Multi-Model Serving для снижения затрат за счет объединения моделей
• Overcommit — возможность деплоя большего числа моделей, чем позволяет доступная память
• Встроенные механизмы экспериментов (Experiments) и маршрутизации трафика
• Гибкая система autoscaling для моделей и компонентов приложений

👤 Кому подойдёт: MLOps-инженеры, разработчики AI-приложений, DevOps-специалисты, работающие с Kubernetes и нуждающиеся в стандартизированном управлении моделями в продакшене.