predibase/lorax

Что это за инструмент

LoRAX — это сервер инференса для LLM, оптимизированный для одновременной работы с тысячами LoRA-адаптеров на одной GPU.

Зачем нужен

Инструмент решает проблему высокой стоимости обслуживания множества дообученных моделей, позволяя динамически загружать адаптеры без блокировки запросов. Это обеспечивает высокую пропускную способность и низкую задержку, сохраняя при этом экономическую эффективность за счет разделения базовой модели.

Что можно реализовать

• Serving тысяч кастомных моделей для разных клиентов (multi-tenant) на одной инфраструктуре
• Быстрое переключение между специализированными адаптерами для разных задач (например, разные стили письма или домены)
• Создание ансамблей моделей путем объединения нескольких LoRA-адаптеров в реальном времени
• Интеграция с существующими системами через совместимый с OpenAI API для чатов

Ключевые возможности

• Динамическая загрузка адаптеров (Dynamic Adapter Loading) без блокировки потока запросов
• Гетерогенное непрерывное батчинг (Heterogeneous Continuous Batching) для оптимизации использования GPU
• Асинхронное_prefetching_ и выгрузка адаптеров между GPU и CPU памятью
• Поддержка квантования (bitsandbytes, GPT-Q, AWQ) и оптимизаций вроде Flash Attention
• Готовность к продакшену: Docker, Helm, метрики Prometheus и OpenTelemetry

👤 Кому подойдёт: ML-инженеры, DevOps-специалисты и компании, развертывающие LLM в продакшене, которым нужно масштабировать обслуживание множества дообученных моделей с минимальными затратами на GPU.