Portkey Gateway 2.0: Open-source шлюз с задержкой <1мс и поддержкой 250+ LLM

Масштабирование open-source решения

Компания Portkey AI объявила о слиянии своего корпоративного шлюза с open-source версией в рамках релиза 2.0. Это ключевой шаг для разработчиков, которым требуется надежный, безопасный и быстрый слой абстракции над сотнями провайдеров LLM. Проект уже прошел стадию бета-тестирования и готов к интеграции в production-среды.

Ключевые метрики производительности Gateway 2.0 впечатляют: задержка составляет менее 1 миллисекунды (<1ms), а размер бинарного файла — всего 122 КБ. При этом система ежедневно обрабатывает более 10 миллиардов токенов, что подтверждает ее устойчивость под высокой нагрузкой.

Поддержка экосистемы и интеграции

Gateway выступает единой точкой входа для работы с 250+ языковыми, визуальными, аудио и мультимодельными моделями от 40+ провайдеров. Архитектура позволяет интегрировать любую LLM за 2 минуты, используя стандартный OpenAI-compatible API. Поддерживаются популярные фреймворки: LangChain, LlamaIndex, CrewAI, Autogen и другие.

Ключевые функции для Enterprise

Версия 2.0 предлагает расширенные возможности для корпоративного использования, включая:

• Smart Routing & Fallbacks: Автоматические повторные попытки (до 5 раз с экспоненциальной задержкой) и переключение на резервного провайдера при сбоях.
• Guardrails: Встроенные проверки входных и выходных данных (40+ пресетов) для фильтрации нежелательного контента (PII, токсичность и т.д.).
• Cost Management: Умное кэширование (простое и семантическое) и аналитика расходов для оптимизации бюджета.
• Security: Соответствие стандартам SOC2, HIPAA, GDPR, CCPA. Управление ключами с ролевым доступом (RBAC).

Поддержка MCP (Model Context Protocol)

Отдельное внимание уделено управлению MCP-серверами. Gateway предоставляет централизованную панель управления для аутентификации, контроля доступа и логирования вызовов инструментов. Это позволяет безопасно использовать MCP-совместимые клиенты (Claude Desktop, Cursor, VS Code) в корпоративной среде, передавая идентичность пользователя (email, роли) на серверы.

Быстрый старт

Запуск локального шлюза осуществляется одной командой через Node.js:

npx @portkey-ai/gateway

После запуска интерфейс доступен по адресу http://localhost:8787/public/, а API — по http://localhost:8787/v1. Для продакшена рекомендуются деплои через Docker, Cloudflare, AWS, Azure или Kubernetes.

Источник: Github ↗