AIKraft/AI/Поиск…⌘KВойти

maximhq/bifrost

Самый быстрый корпоративный AI-шлюз (в 50 раз быстрее LiteLLM) с адаптивным балансировщиком нагрузки, кластерным режимом, guardrails, поддержкой 1000+ моделей и оверхедом <100 мкс при 5k RPS.

Инструменты⭐ 8 203Goпоследний релиз: framework/v1.7.2
Открыть на GitHub ↗Сайт проекта ↗

Что это за инструмент

Bifrost — это высокопроизводительный AI-шлюз (gateway) с открытым исходным кодом, обеспечивающий доступ к более чем 23 провайдерам через единый OpenAI-compatible API.

Зачем нужен

Инструмент решает задачу унификации работы с различными LLM, обеспечивая автоматический фоллбэк при сбоях, интеллектуальное распределение нагрузки и семантическое кэширование. Он полезен для снижения задержек и затрат на API, а также для обеспечения отказоустойчивости и безопасности корпоративных AI-приложений.

Что можно реализовать

  • Создание отказоустойчивых AI-приложений с автоматическим переключением между провайдерами (OpenAI, Anthropic, AWS Bedrock и др.) при сбоях.
  • Централизованное управление бюджетами и лимитами доступа для разных команд и клиентов с использованием виртуальных ключей.
  • Интеграция внешних инструментов в LLM через поддержку Model Context Protocol (MCP).
  • Снижение затрат и задержек за счет семантического кэширования ответов.
  • Обеспечение безопасности и аудита через OIDC-аутентификацию, распределенное трассирование и логирование.

Ключевые возможности

  • Высокая производительность: менее 100 мкс оверхеда при 5k RPS, позиционируется как быстрее LiteLLM.
  • Поддержка 23+ провайдеров и мультимодальных запросов (текст, изображения, аудио) через единый интерфейс.
  • Встроенный веб-интерфейс для визуальной настройки, мониторинга и аналитики в реальном времени.
  • Enterprise-функции: кластерный режим, адаптивный балансировщик нагрузки, guardrails и управление секретами.
  • Гибкая архитектура плагинов для добавления кастомной логики, аналитики и мониторинга.

👤 Кому подойдёт: Разработчики и DevOps-инженеры, строящие масштабируемые AI-приложения, а также технические руководители, нуждающиеся в централизованном управлении доступом, безопасностью и затратами на LLM в корпоративной среде.

Релизы

framework/v1.7.2patch
🕐 2 дн назад · релиз на GitHub ↗

Исправлено вычисление размера буфера повторной передачи через кэшированные оценки, устранено избыточное сериализация.

  • Fixed: Заменено вычисление размера буфера повторной передачи на кэшированные оценки с нулевой маршализацией, что исключает избыточное вызов MarshalJSON для полного удержания.
ent-v2.2.1-baseminor
🕐 2 дн назад · релиз на GitHub ↗

Исправления для Anthropic, xAI, Bedrock и Gemini, новые возможности Governance и улучшенная трассировка OTEL.

  • Fixed: Исправлена потеря параметра container в Anthropic, улучшена обработка ошибок и нормализация схем инструментов.
  • Fixed: Устранены проблемы с расчетом стоимости и токенов для xAI, а также исправлена работа Bedrock и сохранение особенностей Gemini 3.1 Flash-Lite.
  • Added: Расширены возможности Governance: пакетное назначение виртуальных ключей и расширенный поиск по командам и клиентам.
  • Added: Добавлена поддержка capabilities `SupportsPromptCacheBreakpoints` для OpenRouter и улучшена интеграция с OTEL.
  • Fixed: Исправлена дублирующая биллинг-транзакция при поддельных `x-request-id` и улучшено управление соединениями.
ent-v2.2.0-baseminor
🕐 5 дн назад · релиз на GitHub ↗

Релиз Bifrost v2.2.0: внедрено почасовое ценообразование, поддержка GA-транскрипции и улучшена работа с Bedrock и Anthropic.

  • Added: Добавлена поддержка динамического ценообразования с учетом времени суток (пиковые/непиковые часы) в Helm, API и UI.
  • Added: Функция реальной транскрипции (realtime transcription) переведена в статус GA (General Availability).
  • Added: Улучшена интеграция с Bedrock: добавлены флаги маршрутизации, исправлена работа с источниками документов и защита от кеширования.
  • Added: Для провайдеров Fireworks, vLLM и SGLang добавлена опция использования Anthropic-совместимых эндпоинтов с корректной обработкой инструментов.
  • Fixed: Исправлена маршрутизация ответов для совместимых моделей, устранена ошибка мисклассификации gpt-oss и улучшена работа с prompt caching.
helm-chart-v2.1.42patch
🕐 5 дн назад · релиз на GitHub ↗

Выпуск Helm-чарта для Bifrost версии 2.1.42.

  • Обновлена версия Helm-чарта для Bifrost до 2.1.42.
ent-v2.1.1-baseminor
🕐 12 дн назад · релиз на GitHub ↗

Обновление документации, исправления безопасности в MCP и UI, поддержка Claude Cowork и экспорт телеметрии.

  • Added: Добавлена поддержка прокси Claude Cowork.
  • Added: Реализован экспорт накладных расходов в телеметрии и экспортерах OpenTelemetry.
  • Added: В аутентификации MCP-сервера добавлено доверие к upstream-идентификации пользователя до проверки JWT.
  • Fixed: Исправлено сохранение блоков документов в результатах инструментов Bedrock.
  • Fixed: Устранены проблемы с UI виртуальных ключей для управляемых ключей и записью идентичности в контексте JWT.
transports/v2.1.1minor
🕐 12 дн назад · релиз на GitHub ↗

Релиз Bifrost v2.1.1: поддержка Claude Cowork, гистограмма накладных расходов, улучшенная аутентификация MCP и исправления потоковой передачи.

  • Added: Добавлена поддержка Claude Cowork: декодирование base64-документов в текстовые источники для чата и Responses.
  • Added: Включена опциональная гистограмма накладных расходов (overhead) в Prometheus и OTel экспортерах.
  • Added: MCP Server теперь принимает идентичность от вышестоящего слоя аутентификации, минуя проверку неизвестных JWT.
  • Added: Добавлена операция CreateStandalone для виртуальных ключей, позволяющая создавать ключи вне профиля доступа.
  • Fixed: Исправлена потеря блоков документов в результатах инструментов Bedrock Converse.
  • Fixed: Потоковая передача теперь корректно обрабатывает отмену запроса, освобождая воркеры провайдера.
ent-v2.1.0-basemajor
🕐 12 дн назад · релиз на GitHub ↗

Введение системы грантов для управления доступом и лимитами, а также механизм ротации виртуальных ключей.

  • Added: Реализована система грантов (Grant) для контроля идентичности, доступа и лимитов на уровне каждого запроса.
  • Added: Добавлен механизм ротации виртуальных ключей (VK) с настройкой периода охлаждения (cooldown) и grace-period.
  • Added: В UI и OpenAPI добавлены элементы управления и документация для ротации ключей.
  • Added: Переименован флаг AllowOnAllVirtualKeys в AllowByDefault с сохранением обратной совместимости.
  • Fixed: Исправлена работа маршрутизации с учетом видимости строк и сохранение created_at при обновлении правил.
  • Fixed: Улучшена логика обработки MCP-запросов и добавлены span-ы для отслеживания вызовов LLM.
plugins/routing/v1.0.1majorbreaking
🕐 13 дн назад · релиз на GitHub ↗

Релиз routing v1.0.1: замена скорера на семантический классификатор с векторными хранилищами, поддержка GovernanceScope и сессий.

  • Breaking: Параметр `tier_boundaries` устарел и игнорируется.
  • Added: Ключевой скорер заменен на семантический классификатор с векторными хранилищами (chromem) и fallback через LLM.
  • Added: Добавлена маршрутизация с учетом сессий и координация между узлами с возвратом генерации.
  • Added: Правила маршрутизации теперь оцениваются через `GovernanceScope` на основе разрешений доступа.
  • Added: Введена извлечение входных данных с учетом контекста и лимит в 750 фраз.
helm-chart-v2.1.39patch
🕐 13 дн назад · релиз на GitHub ↗

Выпуск Helm-чарта для Bifrost версии 2.1.39.

  • Обновлена версия Helm-чарта до 2.1.39.
helm-chart-v2.1.38patch
🕐 17 дн назад · релиз на GitHub ↗

Выпуск Helm-чарта для Bifrost v2.1.38.

  • Обновление Helm-чарта для Bifrost v2.1.38.
ent-v2.0.1-baseminor
🕐 18 дн назад · релиз на GitHub ↗

Исправления трассировки и проксирования, поддержка ClickHouse, KMS-шифрования S3 и новые руководства по настройке.

  • Fixed: Исправлена трассировка: теперь токены BilledUsage и атрибуты стоимости генерируются даже при ошибках запросов.
  • Fixed: Устранены проблемы с очисткой passthrough и удалением неподдерживаемых подписей reasoning для моделей, отличных от Claude.
  • Added: Добавлена поддержка ClickHouse в качестве бэкенда для хранения логов.
  • Added: Документировано использование S3-бакетов с шифрованием KMS для хранения объектов логов.
  • Added: Добавлены новые руководства: настройка и проверка Edge, работа Identity Sync, а также обновлены инструкции по vLLM.
core/v1.7.15majorbreaking
🕐 25 дн назад · релиз на GitHub ↗

Поддержка Gemini toolCall, асинхронная генерация Runware, оптимизация S3/Vertex и критическое изменение приоритета инструментов.

  • Added: Добавлена поддержка Gemini server-side toolCall с сохранением thoughtSignature и асинхронная генерация 3D/видео через Runware.
  • Added: Прямая передача S3 и Vertex URI без скачивания, точная стоимость задач Runware и расширенная поддержка кодировок ответов.
  • Breaking: Изменён приоритет инструментов Gemini: теперь сохраняются function declarations, а Google Search отбрасывается без include_server_side_tool_invocations.
  • Fixed: Исправлено совместное использование Google Search и function declarations в Vertex AI, а также корректная отправка finish reason.
core/v1.8.4patch
🕐 25 дн назад · релиз на GitHub ↗

Исправлена обработка зашифрованных подписей и корректная конвертация запросов для не-Claude моделей на мультипровайдерных платформах.

  • Fixed: Удалена зашифрованная подпись рассуждений, если провайдер (например, Bedrock) сообщает о её неподдерживаемости, что предотвращает ошибки при переключении моделей.
  • Fixed: Очищен прямой пропуск сырого тела Anthropic для пар провайдер-модель, чтобы модели не из семейства Claude на мультипровайдерных платформах (Vertex, Azure, Bedrock Mantle) корректно конвертировали запр
helm-chart-v2.1.37patch
🕐 25 дн назад · релиз на GitHub ↗

Выпуск Helm-чарта для Bifrost версии 2.1.37.

  • Обновлена версия Helm-чарта до 2.1.37.
core/v1.8.2majorbreaking
🕐 25 дн назад · релиз на GitHub ↗

Релиз Bifrost v1.8.2: поддержка Gemini 3, батчинг, реранкинг, новые провайдеры и ломающие изменения для плагинов.

  • Breaking: Введен обязательный хук HTTPTransportPreAuthHook; плагины, внедряющие учетные данные, должны перенести логику из HTTPTransportPreHook.
  • Added: Добавлена полная поддержка батчинга: учет, settlement-движок, парсинг результатов Gemini и специфичная логика для Claude-on-Vertex.
  • Added: Реализована поддержка Gemini 3 с таблицей совместимости уровней мышления (thinkingLevel) и умным управлением бюджетом.
  • Added: Расширен провайдер Runware: добавлены чат, стриминг, Responses, апскейл изображений и генерация 3D-моделей.
  • Added: Появилась кросс-провайдерная функциональность реранкинга (Cohere, Vertex, Bedrock) с корректным учетом стоимости.
core/v1.8.1majorbreaking
🕐 26 дн назад · релиз на GitHub ↗

Релиз Bifrost v1.8.1: поддержка Gemini 3, Runware, batch-аутентификации и реранкинга, а также ломающие изменения для плагинов.

  • Breaking: Введен обязательный хук HTTPTransportPreAuthHook; плагины, внедряющие учетные данные, должны перенести логику из HTTPTransportPreHook.
  • Added: Добавлена операция VideoEdit для редактирования, апскейлинга и удаления фона видео через OpenAI и Runware.
  • Added: Реализован реранкинг с поддержкой Cohere, Vertex и Bedrock, включая учет стоимости и кросс-провайдерные ответы.
  • Added: Добавлена поддержка Gemini 3 с управлением уровнем мышления (thinkingLevel) и оптимизацией бюджета.
  • Added: Расширены возможности Runware: добавлены чат, стриминг, Responses, апскейл изображений и генерация 3D.
ent-v1.5.12-basepatch
🕐 1 мес назад · релиз на GitHub ↗

Релиз ent-v1.5.12-base: исправления работы с Gemini, Bedrock, вложениями и параметрами чата.

  • Fixed: Исправлена обработка файлов в Inference для AWS Bedrock.
  • Added: Добавлена поддержка server-side toolCall и toolResponse в Gemini с сохранением thoughtSignature.
  • Fixed: Устранены ошибки в потоке эмбеддингов файлов и изображений.
  • Fixed: Исправлена последовательность параметров в chat completions.
  • Fixed: Исправлены вызовы инструментов (tool call) в Gemini и логика рассуждений.
core/v1.7.12majorbreaking
🕐 1 мес назад · релиз на GitHub ↗

Поддержка Gemini toolCall, асинхронная генерация Runware, оптимизация загрузки файлов в Bedrock/Vertex и исправление конфликтов инструментов.

  • Added: Добавлена поддержка Gemini server-side toolCall/toolResponse с сохранением thoughtSignature и web_search_call.
  • Added: Реализована асинхронная 3D-генерация и видеопроцессинг через Runware с точным отображением стоимости задач.
  • Added: Оптимизирована работа с файлами в Bedrock и Vertex: прямая передача ссылок S3/GCS без скачивания и перекодирования.
  • Breaking: Изменен приоритет инструментов Gemini: теперь функции имеют приоритет над Google Search, если не включен include_server_side_tool_invocations.
  • Fixed: Исправлена отправка запросов с Google Search и функциями в Vertex AI, а также корректность пустых кандидатов Gemini.
helm-chart-v2.1.36patch
🕐 1 мес назад · релиз на GitHub ↗

Выпуск Helm-чарта для Bifrost версии 2.1.36.

  • Обновлена версия Helm-чарта для Bifrost до 2.1.36.
ent-v1.5.11-baseminor
🕐 1 мес назад · релиз на GitHub ↗

Релиз ent-v1.5.11-base: улучшен UI выбора периода (фискальные кварталы), обновлена логика выбора сущностей и исправлен пайплайн релизов.

  • Added: Добавлен хелпер fiscalQuarterNote и отображение начала фискального года в интерфейсе бюджетирования.
  • Added: Переработан компонент QuarterStartSelect: горизонтальная раскладка с выровненным вправо списком.
  • Added: Реализована гибкая ширина для селектора сущностей через параметр contentClassName.
  • Fixed: Исправлены ошибки в пайплайне сборки и релизов.
  • Обновлены внутренние модули и ведение журнала изменений.
transports/v1.6.11patch
🕐 1 мес назад · релиз на GitHub ↗

Исправлены критические падения сервера при отключении клиентов, ошибки обработки рассуждений и проблемы со структурами вывода в AWS/Azure.

  • Fixed: Устранены паники сервера при отключении клиентов по WebSocket и сбоях heartbeat.
  • Fixed: Исправлена обработка reasoning-блоков для моделей OpenAI, Azure и при переключении моделей в диалоге.
  • Added: URL-источники изображений и документов теперь безопасно загружаются и встраиваются для AWS Bedrock.
  • Fixed: Исправлено определение fiscal year в интерфейсе бюджетов и поддержка квартальных лимитов.
  • Fixed: Восстановлена корректная маршрутизация stopSequences для Nova/Titan и исправлен downgrade reasoning_effort для Grok.
ent-v2.0.0-prerelease3-baseminor
🕐 1 мес назад · релиз на GitHub ↗

Добавлена поддержка провайдеров Wafer AI и SCIM/SSO, улучшена работа с DeepSeek и OpenAI Responses API.

  • Added: Добавлен провайдер Wafer AI и поддержка SCIM/SSO в Helm-чарте для GitOps-проvisioning.
  • Added: Внедрена настройка dual_credential_conflict_behavior для обработки конфликтов IDP/VK и добавлены новые эндпоинты жизненного цикла ответов.
  • Added: Расширена поддержка API: добавлены Anthropic-совместимые API для SGL, Fireworks и DeepSeek, а также нативный переход vLLM на Responses API.
  • Fixed: Исправлена обработка токенов для DeepSeek и SGL, коррекция имен моделей в fallback-режиме и завершение видимых элементов мышления в стриминге.
  • Added: Добавлена возможность сохранения сырых запросов для Mistral OCR, переключение хранилища контента и настройка заголовков в Otel-профилях.
plugins/telemetry/v1.5.36patch
🕐 1 мес назад · релиз на GitHub ↗

Выпущен плагин telemetry v1.5.36 с обновлением ядра до v1.7.11 и фреймворка до v1.5.9.

  • Added: Обновлено ядро до версии v1.7.11.
  • Added: Обновлён фреймворк до версии v1.5.9.
ent-v1.5.10-baseminor
🕐 1 мес назад · релиз на GitHub ↗

Релиз Bifrost v1.5.10: новые функции бюджетирования, исправления для Cohere и Gemini, оптимизация логирования и UI.

  • Added: Добавлено управление бюджетированием: настройка квот по моделям, командам и клиентам, а также синхронизация с фискальными кварталами.
  • Added: Внедрен унифицированный интерфейс BudgetOverrideManagerDialog для группировки настроек бюджетов провайдеров и моделей.
  • Added: Оптимизировано чтение логов: поддержка fan-out измерений (команда/клиент/BU) в JSON-массивы для всех диалектов баз данных.
  • Fixed: Исправлены ошибки в работе с контентом, провайдером Cohere и логикой рассуждений Gemini.
  • Fixed: Нормализован провайдер Together для корректного поиска цен и улучшена интеграция SDK.
transports/v1.6.10minorbreaking
🕐 1 мес назад · релиз на GitHub ↗

Добавлены квартальные бюджеты, лимиты на модели и исправлены ошибки обработки reasoning в Gemini, Bedrock и Cohere.

  • Added: Поддержка квартальных бюджетов с настраиваемым фискальным месяцем начала года.
  • Added: Настройка бюджетов и rate limits для отдельных моделей через единый интерфейс.
  • Added: Расширение сброса использования бюджетов на команды, клиентов и провайдеров.
  • Fixed: Исправлена работа encrypted reasoning в Gemini, Bedrock, Cohere и Anthropic.
  • Fixed: Устранена высокая нагрузка CPU при сбросе rate-limit в governance.
  • Breaking: Необратимая миграция БД: добавление колонки reset_config_json без возможности отката.
core/v1.7.8patch
🕐 1 мес назад · релиз на GitHub ↗

Исправлены критические ошибки сериализации и передачи подписей в провайдерах Bedrock, Cohere и Gemini.

  • Fixed: Исправлена потеря данных при воспроизведении рассуждений из-за пустых списков ContentBlocks в конвертерах Anthropic, Bedrock и Cohere.
  • Fixed: Устранена ошибка Bedrock с отказом в обработке из-за отсутствия ключа text в блоках рассуждений и проблемы с дублирующимся base64-кодированием подписей.
  • Fixed: Исправлена логика передачи подписей (reasoningSignature) в Bedrock и Gemini, чтобы они корректно прикреплялись к блокам и не терялись.
  • Fixed: В Cohere зашифрованные рассуждения теперь выводятся вместе с кратким содержанием, а маркеры правильно парсятся на входе.
  • Fixed: В Gemini исправлено пропускание самостоятельных сообщений рассуждений и сохранение текста мысли вместе с подписью.
ent-v1.5.9-basepatch
🕐 1 мес назад · релиз на GitHub ↗

Выпуск ent-v1.5.9-base: обновление документации и подготовка изменений для версии 1.6.9.

  • Обновлена документация проекта.
  • Added: Подготовлены изменения для будущей версии 1.6.9.