BerriAI/litellm

Python SDK и прокси-сервер (AI Gateway) для вызова 100+ LLM API в формате OpenAI (или нативном), с отслеживанием затрат, guardrails, балансировкой нагрузки и логированием. [Bedrock, Azure, OpenAI, VertexAI, Cohere, Anthropic, Sagemaker, HuggingFace, vLLM, NVIDIA NIM]

Инструменты⭐ 62 802Pythonпоследний релиз: v1.108.1

Открыть на GitHub ↗Сайт проекта ↗

Что это за инструмент

LiteLLM — это open-source AI Gateway и Python SDK, предоставляющие единый интерфейс для вызова более чем 100 моделей LLM через формат OpenAI.

Зачем нужен

Инструмент решает проблему фрагментации API разных провайдеров, позволяя переключаться между моделями без переписывания кода. Он полезен для централизованного управления доступом, отслеживания затрат и обеспечения отказоустойчивости в продакшене.

Что можно реализовать

Единая интеграция с десятками провайдеров (OpenAI, Anthropic, AWS Bedrock и др.) через один Python-клиент
Развертывание прокси-сервера для централизованного управления ключами, лимитами и логированием запросов в команде
Автоматическое распределение нагрузки (load balancing) и ротация ключей для повышения отказоустойчивости
Отслеживание расходов (cost tracking) и мониторинг использования ресурсов разных LLM в реальном времени

Ключевые возможности

Поддержка 100+ LLM-провайдеров с унифицированным OpenAI-совместимым API
Встроенный Proxy Server с функциями guardrails, виртуальных ключей и админ-панелью
Высокая производительность: задержка P95 составляет 8 мс при 1k RPS
Готовые шаблоны деплоя на Render, Railway, AWS и GCP
Используется крупными компаниями, включая Netflix, Stripe и Google

👤 Кому подойдёт: Разработчики, внедряющие LLM в приложения, и DevOps-инженеры, управляющие инфраструктурой AI-сервисов в enterprise-среде

Релизы

v1.108.1patch

🕐 6 ч назад · релиз на GitHub ↗

Выпуск v1.108.1: добавлена верификация подписей Docker-образов через cosign и исправлены ошибки в LTS-ветке.

Added: Введены криптографические подписи для всех Docker-образов LiteLLM с помощью cosign.
Added: Добавлены команды для проверки целостности образа по хешу коммита или тегу релиза.
Fixed: Исправлены устаревшие модульные тесты в LTS-ветке 1.108.
Fixed: Устранена ошибка выбора прокси-учетных данных, теперь пропускаются деплойменты команд.
Fixed: В LTS-ветку перенесены исправления и необходимые зависимости из основной ветки main.

v1.108.0minor

🕐 2 дн назад · релиз на GitHub ↗

Добавлена верификация подписей Docker-образов, поддержка Entra ID для Azure AI Foundry и авто-роутер Gemini Family.

Added: Введена верификация подписей Docker-образов с помощью cosign для обеспечения безопасности.
Added: Добавлена поддержка аутентификации Entra ID/OAuth для всех маршрутов Azure AI Foundry.
Added: В интерфейс добавлен пресет авто-роутера Gemini Family для удобного распределения запросов.
Fixed: Исправлена передача значений повторяющихся ключей формы и парсинг видео-запросов после аутентификации.
Fixed: Устранена утечка виртуального ключа вызывающего абонента при проксировании запросов к Vertex без учетных данных.

v1.106.6patch

🕐 8 дн назад · релиз на GitHub ↗

Выпуск v1.106.6 добавляет верификацию подписей Docker-образов через cosign и исправляет сжатие gzip в прокси.

Added: Добавлена возможность проверки подписи Docker-образов LiteLLM с помощью cosign для обеспечения безопасности.
Fixed: Исправлена работа сжатия gzip в прокси: перенесены исправления по ограничению области действия и вынос за цикл.

v1.106.5patch

🕐 9 дн назад · релиз на GitHub ↗

Исправление логов отклонённых запросов и корректное использование настроек GCS для логирования.

Fixed: Оптимизация логов отказов: теперь сохраняются только основные поля запроса, теги и детали guardrail.
Fixed: GCS logger теперь корректно использует бакет и учётные данные, настроенные в прокси.

v1.106.4patch

🕐 11 дн назад · релиз на GitHub ↗

Исправлен краш прокси при недоступности карты стоимости моделей и устранены ложные срабатывания сканирования образов.

Fixed: Устранена ошибка ImportError, из-за которой прокси мог аварийно завершать работу при запуске, если не удавалось загрузить удалённую карту стоимости моделей.
Fixed: Исправлены ложные срабатывания сканирования образов Docker, связанные с библиотекой brotli, сертификатом emSign ECC Root CA - G3 и неиспользуемыми пакетами в lockfile.

v1.106.3patchbreaking

🕐 12 дн назад · релиз на GitHub ↗

Смена ключа подписи Docker-образов и удаление корневого CA eMudhra из доверенных сертификатов.

Breaking: Обновлен ключ cosign для подписи образов и Helm-чартов; старая подпись больше не верифицируется.
Breaking: Удален корневой сертификат CA eMudhra из всех бандлов доверенных сертификатов SDK, прокси и образов.
Added: Добавлена инструкция по верификации новой подписи через cosign для всех доступных образов.

v1.107.0minor

🕐 15 дн назад · релиз на GitHub ↗

Добавлена поддержка провайдеров hosted_vllm и Azure AI Decision, обновлены цены и даты депрекации моделей, улучшена верификация Docker-образов.

Added: Добавлена поддержка провайдера hosted_vllm и модели Azure AI/Microsoft-Decision-1.
Added: В UI отображается публичный JWKS для учетных данных Anthropic, подписанных LiteLLM.
Fixed: Обновлены цены и даты депрекации для моделей Together, Bedrock и OpenRouter.
Fixed: Исправлена работа prompt cache breakpoint для размещенных развертываний на чат-мосту.
Added: Все Docker-образы подписаны через cosign; добавлены инструкции для проверки целостности.

v1.106.2patch

🕐 15 дн назад · релиз на GitHub ↗

Исправления стоимости и обработки ошибок для Bedrock Mantle, пакетов и прокси; добавлена верификация подписей Docker-образов.

Fixed: Исправлена ошибка 404 при работе с Bedrock Mantle.
Fixed: Устранены критические ошибки в расчетах стоимости и ценах для пакетов (batches).
Fixed: Исправлены проблемы с учетом расходов и затрат в прокси-сервере.
Added: Добавлена возможность проверки подписей Docker-образов через cosign.

v1.106.1patch

🕐 16 дн назад · релиз на GitHub ↗

Выпущен патч v1.106.1 с инструкциями по верификации подписи Docker-образов через cosign.

Added: Добавлены команды для проверки подписи Docker-образов LiteLLM с помощью cosign.
Added: Предоставлены два способа верификации: через неизменяемый хэш коммита (рекомендуется) и через тег релиза.
Added: Все образы подписаны ключом, связанным с конкретным коммитом, что гарантирует подлинность.
Выпущен патч v1.106.1, исправляющий предыдущие версии.

v1.106.0minorbreaking

🕐 19 дн назад · релиз на GitHub ↗

В LiteLLM v1.106.0 добавлена подпись образов Docker, новые провайдеры Laya и OSS, а также улучшена работа с MCP и OCI.

Added: Все Docker-образы подписаны ключом cosign для проверки целостности.
Breaking: Серверы MCP через stdio отключены по умолчанию.
Added: Добавлены шлюз Laya и классификаторы OSS.
Added: Упрощен быстрый запуск через Docker с Postgres и Admin UI.
Fixed: Исправлено определение региона GenAI в OCI и сохранение service tier в вызовах ChatGPT.

v1.105.1patch

🕐 23 дн назад · релиз на GitHub ↗

Выпуск v1.105.1 с поддержкой верификации Docker-образа через cosign и исправлениями для стабильной ветки.

Added: Добавлена возможность проверки подписи Docker-образов LiteLLM с помощью cosign.
Fixed: В стабильную ветку 1.105.x перенесены исправления из PR #44243 и #44508.

v1.105.0minor

🕐 25 дн назад · релиз на GitHub ↗

Добавлена верификация Docker-образов через cosign, улучшена работа с MCP, исправлены баги в прокси и SSO.

Added: Введена криптографическая верификация Docker-образов LiteLLM с помощью cosign для обеспечения безопасности.
Added: Добавлена поддержка нативных батчей и файлов xAI, а также интеграция Databricks Zerobus для логирования трейсов.
Added: Реализовано обнаружение возможностей и настройка версий протокола для MCP, а также клиенты агентов для Claude Code и Codex.
Fixed: Исправлена передача заголовков upstream в нативный Messages stream и улучшена обработка ошибок в Responses bridge.
Fixed: Заблокированы отладочные маршруты SSO по умолчанию и улучшена очистка PII/секретов в Sentry.

v1.104.2minor

🕐 28 дн назад · релиз на GitHub ↗

Добавлена поддержка бэкенда OpenAI Decisions и улучшена верификация Docker-образов через cosign.

Added: Добавлена поддержка OpenAI Decisions и бэкенда /v1/systemone.
Added: Все Docker-образы подписаны ключом cosign для проверки целостности.
Fixed: Исправления и бэкпорты для стабильной ветки 1.104.x.

v1.104.1patch

🕐 29 дн назад · релиз на GitHub ↗

Выпуск v1.104.1: добавлена верификация подписей Docker-образов через cosign и обновлён pgbouncer до версии 1.26.0.

Added: Добавлена возможность проверки подписи Docker-образов LiteLLM с помощью cosign для обеспечения безопасности.
Fixed: Обновлён pgbouncer до версии 1.26.0.
Обновлены зависимости в ветке stable/1.104.x.

v1.104.0majorbreaking

🕐 1 мес назад · релиз на GitHub ↗

Усиление безопасности: проверка подписей Docker, защита от утечек паролей и запрет слабых ключей.

Breaking: LiteLLM отказывается запускаться, если мастер-ключ не задан, пустой или совпадает с публично известным.
Added: Добавлена проверка подписей Docker-образов через cosign для подтверждения подлинности релиза.
Added: В политику паролей добавлено обнаружение скомпрометированных паролей, принудительный сброс и защита от утечек в открытом виде.
Fixed: Исправлена ошибка, из-за которой обработчик успеха вызывался дважды в асинхронных обертках.
Fixed: Устранена проблема с повторной отправкой неповторяемых пакетов расходов из Redis-буфера.

v1.103.2patch

🕐 1 мес назад · релиз на GitHub ↗

Выпуск v1.103.2: добавлена верификация подписей Docker-образов через cosign и исправления для прокси и Anthropic.

Added: Введены механизмы проверки подписи Docker-образов LiteLLM с помощью cosign для обеспечения безопасности.
Fixed: Исправления в прокси-сервере, включая бэкпорты изменений #40541, #43642, #43656 и #43962.
Fixed: Устранены ошибки в интеграции с Anthropic на основе бэкпортов #42152 и #42288.

v1.103.1minor

🕐 1 мес назад · релиз на GitHub ↗

Добавлена возможность проверки подписи Docker-образов LiteLLM с помощью cosign для обеспечения безопасности.

Added: Введены инструкции для верификации Docker-образов через cosign с использованием хэша коммита или тега релиза.
Added: Все образы LiteLLM теперь подписываются ключом, зафиксированным в коммите 0112e53, что гарантирует целостность поставки.
Обновлены ссылки на публичный ключ и образы для версии v1.103.1 в документации по безопасности.

v1.103.0minor

🕐 1 мес назад · релиз на GitHub ↗

Добавлена проверка подписей Docker-образов, поддержка S3 для Bedrock, новые модели Friendli и Azure, а также ряд исправлений безопасности и стоимости.

Added: Введена криптографическая проверка подписей Docker-образов через cosign для обеспечения безопасности.
Added: Добавлена поддержка операций удаления и списка файлов для S3-хранилища в Bedrock.
Added: Автоматическая синхронизация метаданных моделей Friendli и добавление тарифов Azure GPT-chat-latest.
Fixed: Исправлена тарификация кэшированных токенов аудио и корректное отображение ошибок провайдера в Anthropic.
Fixed: Устранены проблемы с привязкой индексов инструментов, обновлены зависимости для устранения уязвимостей.

v1.102.1patch

🕐 1 мес назад · релиз на GitHub ↗

Выпуск v1.102.1: добавлена верификация подписей Docker-образов через cosign и исправления для Anthropic.

Added: Добавлена возможность проверки подписи Docker-образов LiteLLM с помощью cosign для обеспечения безопасности.
Fixed: Исправления для провайдера Anthropic, включающие бэкпорты исправлений #42152 и #42288.
Added: Бэкпорт набора изменений для типобезопасности (typesafe) в стабильную ветку 1.102.x.

v1.102.0minor

🕐 1 мес назад · релиз на GitHub ↗

Добавлена поддержка Lyria, улучшены guardrails и маршрутизация, внедрена верификация Docker-образов.

Added: Добавлена поддержка модели Lyria в Vertex AI.
Added: Внедрена верификация подписей Docker-образов через cosign.
Added: Guardrails теперь поддерживают постобработку стриминговых ответов и опцию inspect_embeddings для AIM и Cato.
Fixed: Исправлена маршрутизация: учтена нулевая задержка при отсутствии сэмплов и улучшена работа с отказами.
Fixed: Устранены проблемы с редактированием ключей провайдеров, ценообразованием GovCloud и сохранением блоков отказа в Anthropic.

v1.101.0minor

🕐 1 мес назад · релиз на GitHub ↗

Добавлена поддержка OIDC для OpenAI, улучшено отслеживание расходов и безопасность, исправлены Bedrock и Docker.

Added: OpenAI: поддержка федерации рабочих идентичностей (OIDC token exchange)
Added: Proxy: добавлен эндпоинт /v1/responses/input_tokens для подсчета токенов
Added: Spend tracking: сохранение метаданных роутера в логах расходов для внутренних моделей
Fixed: Bedrock: исправлено дублирование блоков Converse и добавлены транскрипты для Nova Sonic
Fixed: Guardrails: исключены изображения из сканирования HiddenLayer v1 и настроен таймаут Prompt Security
Fixed: Docker: обновлен wolfi-base до glibc 2.44 и зафиксирован Python 3.13

v1.100.1patchbreaking

🕐 1 мес назад · релиз на GitHub ↗

Выпуск v1.100.1: добавлена верификация подписей Docker-образов через cosign и исправлена утечка памяти в логах роутера.

Added: Добавлена возможность проверки подписей Docker-образов LiteLLM с помощью cosign для обеспечения безопасности.
Fixed: Исправлена ошибка в роутере, из-за которой накапливались лишние записи о предыдущих запросах.
Breaking: Отменены обратные портирования изменений, связанных с атрибуцией расходов.

v1.100.0minor

🕐 2 мес назад · релиз на GitHub ↗

Добавлена верификация Docker-образов через cosign, поддержка Entra ID в Azure AI Foundry и исправления UI/бэкенда.

Added: Введена криптографическая верификация Docker-образов LiteLLM с помощью cosign для обеспечения безопасности.
Added: Добавлена поддержка аутентификации Entra ID / OAuth для всех маршрутов Azure AI Foundry.
Added: Реализована маршрутизация трассировок New Relic на уровне команд через callbacks.
Fixed: Исправлено отображение лимитов TPM/RPM равных нулю в интерфейсе, корректная тема темной темы и тултипов.
Fixed: Устранены проблемы с биллингом кэшированных токенов в Databricks и транзитом блоков мышления Anthropic в OpenAI.

v1.99.1patch

🕐 2 мес назад · релиз на GitHub ↗

Релиз LiteLLM v1.99.1: исправление учёта токенов кэша в OpenTelemetry v2, доступ только через Docker-образы.

Fixed: Исправлен учёт токенов кэша в OpenTelemetry v2: теперь добавляются метрики gen_ai.usage.cache_creation.input_tokens и gen_ai.usage.cache_read.input_tokens, что устраняет недоучёт затрат.
Deprecated: Пакет для PyPI отсутствует; установка через pip не сработает, доступны только Docker-образы.
Added: Обновлены теги latest и main-stable для Docker-образов на версию 1.99.1.
Added: Добавлены новые Docker-образы: liteLLM, liteLLM-database и liteLLM-non_root.

v1.99.0minor

🕐 2 мес назад · релиз на GitHub ↗

Добавлена верификация Docker-образов, улучшен UI роутера и бета-версия GPT-5, исправлены Bedrock и прокси.

Added: Введена верификация подписей Docker-образов через cosign для повышения безопасности.
Added: Добавлен пресет Lite mixed-provider auto-router и улучшен UI Complexity Router.
Added: Переименован параметр max_tokens в max_completion_tokens для деплоев gpt-5-chat.
Fixed: Исправлена передача метаданных в Bedrock и сохранение использования кэш-токенов.
Fixed: Устранены ошибки логирования бэтчей, проблемы с WebSocket и некорректные ответы 500.

v1.98.0minor

🕐 2 мес назад · релиз на GitHub ↗

В LiteLLM v1.98.0 добавлена верификация образов Docker, новые возможности PTU, логирования и ограничения, а также исправления для Bedrock, UI и роутера.

Added: Добавлена поддержка верификации подписи Docker-образов через cosign.
Added: Реализована функциональность Provisioned Throughput (PTU): настройка фиксированной стоимости, сбор статистики и отображение в интерфейсе.
Added: В JSON-логи добавлена корреляция сессий и трассировок через session_id и trace_id.
Added: Появилась возможность настраивать оценку выходных токенов для ограничения скорости (rate limiting) на уровне ключа, команды и модели.
Fixed: Исправлена работа роутера: сохранение батч-фолбэков в рамках модели, корректная пагинация файлов и валидация параметров в FastAPI.
Fixed: Устранены проблемы с ценообразованием изображений, верификацией токенов Bedrock для GLM 5/DeepSeek V3.2 и доступом к вкладкам логов в UI.

v1.97.0minor

🕐 2 мес назад · релиз на GitHub ↗

Добавлена верификация Docker-образов, интеграция Rubrik Guardrails, поддержка Cursor и улучшения UI.

Added: Введена верификация подписей Docker-образов через cosign для обеспечения безопасности.
Added: Добавлены Guardrails от Rubrik: модерация промптов, блокировка ответов и логирование сбоев.
Added: Реализована поддержка суффиксов моделей Cursor (thinking/fast) на эндпоинте /cursor/chat/completions.
Added: В Playground добавлен переключатель для нестриминговых ответов.
Fixed: Исправлено закрытие LLM-клиентов после вытеснения из кэша для освобождения соединений.
Fixed: Устранена утечка логов при отключении логирования и исправлена передача параметров Datadog.

v1.96.2patch

🕐 2 мес назад · релиз на GitHub ↗

Выпуск v1.96.2: добавлена верификация подписей Docker-образов через cosign и исправлена проблема с PyPI.

Added: Все Docker-образы LiteLLM теперь подписаны ключом cosign для обеспечения безопасности.
Added: Добавлены команды для проверки подписи образа через хэш коммита или тег релиза.
Fixed: Выпуск создан для обхода сбоя хранения на PyPI, затронувшего версию 1.96.1.
Включены технические обновления и обслуживание обработки запросов прокси.

v1.96.0minor

🕐 2 мес назад · релиз на GitHub ↗

Добавлена верификация Docker-образов через cosign, улучшен UI и исправлены ошибки роутинга и прокси.

Added: Все Docker-образы подписаны ключом cosign; добавлены команды для проверки целостности образа.
Added: В Prometheus-метрики добавлена метка service_tier для отслеживания задержек и затрат.
Added: В интерфейсе появились разделяемые ссылки на логи, глубинные ссылки на команды и организацию, а также отдельная серия для упавших запросов в кэше.
Fixed: Исправлена передача rawPredict в Vertex AI и корректная обработка stop_sequences в Anthropic-адаптере.
Fixed: Устранены ошибки в роутинге (приоритеты, сериализация задержек), JWT-аутентификации и управлении командами прокси.

v1.95.0major

🕐 3 мес назад · релиз на GitHub ↗

Запуск Rust-бэкенда для Anthropic и Bedrock, подпись образов через cosign, улучшение UI и трекинга затрат.

Added: Маршрутизация запросов Anthropic /messages и WebSockets Responses API через Rust-шлюз (переменная LITELLM_RUST).
Added: Высокопроизводительная транскрипция аудио в Bedrock выполнена на Rust с использованием py->rust bridge.
Added: Добавлена верификация подписей Docker-образов с помощью cosign для обеспечения безопасности.
Added: В UI на странице Cost Optimization добавлены вкладки конфигурации; увеличен лимит page_size для логов затрат до 1000.
Fixed: Исправлена ошибка 415 для Fireworks AI (восстановлен заголовок Content-Type) и некорректная обработка лимитов токенов.