AIKraft/AI/Поиск…⌘KВойти

BerriAI/litellm

Python SDK и прокси-сервер (AI Gateway) для вызова 100+ LLM API в формате OpenAI (или нативном), с отслеживанием затрат, guardrails, балансировкой нагрузки и логированием. [Bedrock, Azure, OpenAI, VertexAI, Cohere, Anthropic, Sagemaker, HuggingFace, vLLM, NVIDIA NIM]

Инструменты⭐ 59 272Pythonпоследний релиз: v1.101.0
Открыть на GitHub ↗Сайт проекта ↗

Что это за инструмент

LiteLLM — это open-source AI Gateway и Python SDK, предоставляющие единый интерфейс для вызова более чем 100 моделей LLM через формат OpenAI.

Зачем нужен

Инструмент решает проблему фрагментации API разных провайдеров, позволяя переключаться между моделями без переписывания кода. Он полезен для централизованного управления доступом, отслеживания затрат и обеспечения отказоустойчивости в продакшене.

Что можно реализовать

  • Единая интеграция с десятками провайдеров (OpenAI, Anthropic, AWS Bedrock и др.) через один Python-клиент
  • Развертывание прокси-сервера для централизованного управления ключами, лимитами и логированием запросов в команде
  • Автоматическое распределение нагрузки (load balancing) и ротация ключей для повышения отказоустойчивости
  • Отслеживание расходов (cost tracking) и мониторинг использования ресурсов разных LLM в реальном времени

Ключевые возможности

  • Поддержка 100+ LLM-провайдеров с унифицированным OpenAI-совместимым API
  • Встроенный Proxy Server с функциями guardrails, виртуальных ключей и админ-панелью
  • Высокая производительность: задержка P95 составляет 8 мс при 1k RPS
  • Готовые шаблоны деплоя на Render, Railway, AWS и GCP
  • Используется крупными компаниями, включая Netflix, Stripe и Google

👤 Кому подойдёт: Разработчики, внедряющие LLM в приложения, и DevOps-инженеры, управляющие инфраструктурой AI-сервисов в enterprise-среде

Релизы

v1.101.0minor
🕐 6 дн назад · релиз на GitHub ↗

Добавлена поддержка OIDC для OpenAI, улучшено отслеживание расходов и безопасность, исправлены Bedrock и Docker.

  • Added: OpenAI: поддержка федерации рабочих идентичностей (OIDC token exchange)
  • Added: Proxy: добавлен эндпоинт /v1/responses/input_tokens для подсчета токенов
  • Added: Spend tracking: сохранение метаданных роутера в логах расходов для внутренних моделей
  • Fixed: Bedrock: исправлено дублирование блоков Converse и добавлены транскрипты для Nova Sonic
  • Fixed: Guardrails: исключены изображения из сканирования HiddenLayer v1 и настроен таймаут Prompt Security
  • Fixed: Docker: обновлен wolfi-base до glibc 2.44 и зафиксирован Python 3.13
v1.100.1patchbreaking
🕐 10 дн назад · релиз на GitHub ↗

Выпуск v1.100.1: добавлена верификация подписей Docker-образов через cosign и исправлена утечка памяти в логах роутера.

  • Added: Добавлена возможность проверки подписей Docker-образов LiteLLM с помощью cosign для обеспечения безопасности.
  • Fixed: Исправлена ошибка в роутере, из-за которой накапливались лишние записи о предыдущих запросах.
  • Breaking: Отменены обратные портирования изменений, связанных с атрибуцией расходов.
v1.100.0minor
🕐 15 дн назад · релиз на GitHub ↗

Добавлена верификация Docker-образов через cosign, поддержка Entra ID в Azure AI Foundry и исправления UI/бэкенда.

  • Added: Введена криптографическая верификация Docker-образов LiteLLM с помощью cosign для обеспечения безопасности.
  • Added: Добавлена поддержка аутентификации Entra ID / OAuth для всех маршрутов Azure AI Foundry.
  • Added: Реализована маршрутизация трассировок New Relic на уровне команд через callbacks.
  • Fixed: Исправлено отображение лимитов TPM/RPM равных нулю в интерфейсе, корректная тема темной темы и тултипов.
  • Fixed: Устранены проблемы с биллингом кэшированных токенов в Databricks и транзитом блоков мышления Anthropic в OpenAI.
v1.99.1patch
🕐 19 дн назад · релиз на GitHub ↗

Релиз LiteLLM v1.99.1: исправление учёта токенов кэша в OpenTelemetry v2, доступ только через Docker-образы.

  • Fixed: Исправлен учёт токенов кэша в OpenTelemetry v2: теперь добавляются метрики gen_ai.usage.cache_creation.input_tokens и gen_ai.usage.cache_read.input_tokens, что устраняет недоучёт затрат.
  • Deprecated: Пакет для PyPI отсутствует; установка через pip не сработает, доступны только Docker-образы.
  • Added: Обновлены теги latest и main-stable для Docker-образов на версию 1.99.1.
  • Added: Добавлены новые Docker-образы: liteLLM, liteLLM-database и liteLLM-non_root.
v1.99.0minor
🕐 20 дн назад · релиз на GitHub ↗

Добавлена верификация Docker-образов, улучшен UI роутера и бета-версия GPT-5, исправлены Bedrock и прокси.

  • Added: Введена верификация подписей Docker-образов через cosign для повышения безопасности.
  • Added: Добавлен пресет Lite mixed-provider auto-router и улучшен UI Complexity Router.
  • Added: Переименован параметр max_tokens в max_completion_tokens для деплоев gpt-5-chat.
  • Fixed: Исправлена передача метаданных в Bedrock и сохранение использования кэш-токенов.
  • Fixed: Устранены ошибки логирования бэтчей, проблемы с WebSocket и некорректные ответы 500.
v1.98.0minor
🕐 29 дн назад · релиз на GitHub ↗

В LiteLLM v1.98.0 добавлена верификация образов Docker, новые возможности PTU, логирования и ограничения, а также исправления для Bedrock, UI и роутера.

  • Added: Добавлена поддержка верификации подписи Docker-образов через cosign.
  • Added: Реализована функциональность Provisioned Throughput (PTU): настройка фиксированной стоимости, сбор статистики и отображение в интерфейсе.
  • Added: В JSON-логи добавлена корреляция сессий и трассировок через session_id и trace_id.
  • Added: Появилась возможность настраивать оценку выходных токенов для ограничения скорости (rate limiting) на уровне ключа, команды и модели.
  • Fixed: Исправлена работа роутера: сохранение батч-фолбэков в рамках модели, корректная пагинация файлов и валидация параметров в FastAPI.
  • Fixed: Устранены проблемы с ценообразованием изображений, верификацией токенов Bedrock для GLM 5/DeepSeek V3.2 и доступом к вкладкам логов в UI.
v1.97.0minor
🕐 1 мес назад · релиз на GitHub ↗

Добавлена верификация Docker-образов, интеграция Rubrik Guardrails, поддержка Cursor и улучшения UI.

  • Added: Введена верификация подписей Docker-образов через cosign для обеспечения безопасности.
  • Added: Добавлены Guardrails от Rubrik: модерация промптов, блокировка ответов и логирование сбоев.
  • Added: Реализована поддержка суффиксов моделей Cursor (thinking/fast) на эндпоинте /cursor/chat/completions.
  • Added: В Playground добавлен переключатель для нестриминговых ответов.
  • Fixed: Исправлено закрытие LLM-клиентов после вытеснения из кэша для освобождения соединений.
  • Fixed: Устранена утечка логов при отключении логирования и исправлена передача параметров Datadog.
v1.96.2patch
🕐 1 мес назад · релиз на GitHub ↗

Выпуск v1.96.2: добавлена верификация подписей Docker-образов через cosign и исправлена проблема с PyPI.

  • Added: Все Docker-образы LiteLLM теперь подписаны ключом cosign для обеспечения безопасности.
  • Added: Добавлены команды для проверки подписи образа через хэш коммита или тег релиза.
  • Fixed: Выпуск создан для обхода сбоя хранения на PyPI, затронувшего версию 1.96.1.
  • Включены технические обновления и обслуживание обработки запросов прокси.
v1.96.0minor
🕐 1 мес назад · релиз на GitHub ↗

Добавлена верификация Docker-образов через cosign, улучшен UI и исправлены ошибки роутинга и прокси.

  • Added: Все Docker-образы подписаны ключом cosign; добавлены команды для проверки целостности образа.
  • Added: В Prometheus-метрики добавлена метка service_tier для отслеживания задержек и затрат.
  • Added: В интерфейсе появились разделяемые ссылки на логи, глубинные ссылки на команды и организацию, а также отдельная серия для упавших запросов в кэше.
  • Fixed: Исправлена передача rawPredict в Vertex AI и корректная обработка stop_sequences в Anthropic-адаптере.
  • Fixed: Устранены ошибки в роутинге (приоритеты, сериализация задержек), JWT-аутентификации и управлении командами прокси.
v1.95.0major
🕐 1 мес назад · релиз на GitHub ↗

Запуск Rust-бэкенда для Anthropic и Bedrock, подпись образов через cosign, улучшение UI и трекинга затрат.

  • Added: Маршрутизация запросов Anthropic /messages и WebSockets Responses API через Rust-шлюз (переменная LITELLM_RUST).
  • Added: Высокопроизводительная транскрипция аудио в Bedrock выполнена на Rust с использованием py->rust bridge.
  • Added: Добавлена верификация подписей Docker-образов с помощью cosign для обеспечения безопасности.
  • Added: В UI на странице Cost Optimization добавлены вкладки конфигурации; увеличен лимит page_size для логов затрат до 1000.
  • Fixed: Исправлена ошибка 415 для Fireworks AI (восстановлен заголовок Content-Type) и некорректная обработка лимитов токенов.
v1.91.0minor
🕐 2 мес назад · релиз на GitHub ↗

Добавлена поддержка Gemini 3.5 Flash, улучшена безопасность Docker-образов и исправлены баги прокси и Bedrock.

  • Added: Добавлена нативная поддержка модели Gemini 3.5 Flash и Managed Agents.
  • Added: Введены механизмы верификации подписей Docker-образов LiteLLM через cosign.
  • Added: В UI Playground добавлен эндпоинт Interactions API с поддержкой SSE-стриминга.
  • Fixed: Исправлена работа DeepSeek через нативный endpoint /anthropic/v1/messages и санитизация инструментов.
  • Fixed: Устранена проблема с двойной инициализацией счетчика расходов в Redis при запуске в нескольких подах.
  • Fixed: Заблокирован доступ к allowed_passthrough_routes для прокси-администраторов на уровне команды.