Portkey-AI/gateway

Что это за инструмент

Portkey AI Gateway — это быстрый и легкий open-source шлюз для маршрутизации запросов к более чем 1600 LLM, включающий встроенные guardrails для безопасности.

Зачем нужен

Инструмент позволяет интегрироваться с любыми языковыми моделями через единый API за 2 минуты, абстрагируя различия провайдеров. Он решает задачи обеспечения отказоустойчивости (автоматические ретраи и fallbacks), масштабирования (балансировка нагрузки) и защиты приложений (guardrails), обрабатывая миллиарды токенов ежедневно.

Что можно реализовать

• Централизованное управление доступом к множеству LLM (OpenAI, Anthropic, Bedrock и др.) через единый интерфейс
• Обеспечение высокой доступности приложений за счет автоматических ретраев и переключения на резервные модели при сбоях
• Балансировка нагрузки и условная маршрутизация запросов для оптимизации затрат и производительности
• Внедрение guardrails для защиты AI-деплоев от нежелательного контента или атак
• Работа с мультимодальными моделями и интеграция с MCP (Model Context Protocol) серверами

Ключевые возможности

• Минимальная задержка (<1ms) и крошечный размер бинарного файла (122kb)
• Поддержка 1600+ моделей от 40+ провайдеров через совместимый с OpenAI API
• Готовые библиотеки для Python, JS, REST, Langchain, LlamaIndex и Autogen
• Встроенные guardrails и возможности для agentic workflow
• Простая установка через Docker, Node.js, Cloudflare Workers или AWS EC2

👤 Кому подойдёт: разработчики, занимающиеся интеграцией LLM, и команды, строящие масштабируемые AI-приложения с требованиями к надежности и безопасности