GPUWorks
Легковесный менеджер GPU-кластеров для vLLM/SGLang без Kubernetes, объединяющий ресурсы в единый MaaS.
Что это
GPUWorks — это платформа как услуга (MaaS) весом около 45 МБ, предназначенная для управления GPU-кластерами. Инструмент позволяет развертывать единый кластер, объединяющий ресурсы из публичных и частных облаков, а также любые комбинации аппаратных ускорителей.
Ключевая особенность решения — отсутствие зависимости от Kubernetes. Это делает систему легкой и простой в настройке, что особенно важно для развертывания моделей LLM с использованием фреймворков vLLM и SGLang.
Проект распространяется под лицензией Apache-2.0 и доступен как открытый исходный код на GitHub. Платформа ориентирована на разработчиков и DevOps-инженеров, которым требуется эффективное управление вычислительными ресурсами для задач искусственного интеллекта без сложной инфраструктуры.
Инструмент поддерживает работу с разнородными GPU, что позволяет оптимизировать затраты и производительность при обучении или инференсе нейросетей. Репозиторий включает документацию, скрипты и примеры конфигураций для быстрого старта.