michaelfeil/infinity

Что это за инструмент

Infinity — это высокопроизводительный движок для обслуживания моделей (serving engine), оптимизированный для генерации текстовых эмбеддингов, ранжирования (reranking) и мультимодальных моделей.

Зачем нужен

Инструмент решает задачу развертывания моделей с высокой пропускной способностью и низкой задержкой, предоставляя REST API, совместимый со спецификациями OpenAI. Он полезен для создания надежных бэкендов для систем поиска и классификации, позволяя легко масштабировать инференс на различных аппаратных платформах.

Что можно реализовать

• Развертывание моделей эмбеддингов и ранжирования из HuggingFace для систем RAG
• Обслуживание мультимодальных моделей (clip, clap, colpali) для поиска по изображениям и тексту
• Создание высоконагруженных сервисов с динамическим батчингом запросов
• Интеграция моделей sentence-transformer в существующие API-инфраструктуры

Ключевые возможности

• Поддержка NVIDIA CUDA, AMD ROCm, CPU, AWS INF2 и Apple MPS
• Использование оптимизированных бэкендов: PyTorch, ONNX, TensorRT, CTranslate2 и FlashAttention
• Возможность одновременного обслуживания нескольких моделей (multi-model) и смешивания их типов
• API совместим со спецификациями OpenAI Embeddings, что упрощает интеграцию
• Готовые Docker-образы и примеры деплоя на платформах вроде Modal, Runpod и Baseten

👤 Кому подойдёт: ML-инженеры, разработчики AI-инфраструктуры и разработчики приложений, внедряющих семантический поиск и мультимодальный анализ