В мире искусственного интеллекта, где скорость и гибкость интеграций часто становятся решающими факторами успеха, разработчики и компании постоянно ищут способы оптимизировать свои рабочие процессы. Долгое время OpenRouter предлагал единое API для доступа к публичным моделям от различных провайдеров, что уже было мощным инструментом для маршрутизации запросов. Однако для организаций, работающих с собственными тонко настроенными моделями (fine-tuned), выделенными деплойментами или зарезервированной мощностью у провайдеров, часто возникала необходимость во второй, параллельной интеграции. Это создавало фрагментацию: разные ключи API, разные эндпоинты и необходимость писать дополнительный код для переключения между публичными и приватными ресурсами.
Сегодня мы представляем решение, которое стирает эту границу. Запуск функции Private Endpoints (Приватные эндпоинты) позволяет интегрировать ваши уникальные развертывания моделей прямо в каталог OpenRouter. Теперь вы можете маршрутизировать трафик через единый интерфейс, сохраняя привычные API-ключи, слуги моделей и настройки роутинга. Главное преимущество заключается в изоляции: приватные эндпоинты видны только внутри вашей организации, они не появляются в публичных списках, рейтингах или бенчмарках, обеспечивая максимальную конфиденциальность и контроль.
Эта функция является надстройкой к тарифному плану Enterprise. Она предназначена для тех, кто хочет объединить лучшие черты публичных моделей (например, отказоустойчивость и резервное копирование) с безопасностью и спецификой собственных решений. В этой статье мы подробно разберем, как настроить Private Endpoints, какие возможности это открывает для вашего бизнеса и как управлять ими как через веб-интерфейс, так и через код.
01Что можно делать с Private Endpoints?
Ранее, если ваша команда использовала тонко настроенную модель или имела зарезервированную мощность у конкретного провайдера, это означало необходимость поддерживать вторую интеграцию параллельно с OpenRouter. Вам приходилось писать отдельную логику для обработки ошибок, переключения контекстов и управления ключами доступа. С появлением Private Endpoints эта сложность исчезает. Вы регистрируете свое развертывание как приватный эндпоинт и вызываете его через то же самое API, которое используете для публичных моделей.
Ключевая особенность этой системы — интеллектуальная маршрутизация. Если ваш приватный эндпоинт недоступен или достигает лимитов скорости (rate limits), OpenRouter может автоматически перенаправить избыточный трафик на публичных провайдеров. При этом вы сохраняете полный контроль над предпочтениями провайдеров и настройками резервного копирования (BYOK — Bring Your Own Key). Важно отметить, что приватные эндпоинты полностью изолированы: они не видны в публичных списках моделей, не участвуют в общих рейтингах, поиске, графиках или бенчмарках. Доступ к ним имеют только те организации, которые вы явно одобрили.
Рассмотрим конкретный пример. Предположим, ваша организация имеет выделенное развертывание модели DeepSeek V4 Pro на платформе Azure. Вы можете зарегистрировать этот деплоймент как приватный эндпоинт для слуга deepseek/deepseek-v4-pro. Ваши приложения продолжат обращаться к этому слугу, не требуя изменений в коде. Для вашей организации этот эндпоинт по умолчанию перемещается в начало списка провайдеров. Маршрутизация, выбор провайдеров и другие функции роутинга работают так же, как и для любых других провайдеров. OpenRouter обращается к вашему ресурсу Azure с использованием вашего ключа через механизм BYOK, что означает, что Azure выставляет вам счет напрямую, без посредничества OpenRouter в вопросах биллинга за вычислительные ресурсы.
Зарезервированная мощность (reserved capacity) обрабатывается аналогичным образом. Указав приватный эндпоинт на вашу зарезервированную мощность, вы гарантируете, что трафик вашей организации будет направляться туда в первую очередь. Когда эта мощность исчерпана или ограничена, OpenRouter отправляет избыточный трафик на публичных провайдеров, строго соблюдая установленные вами предпочтения провайдеров и настройки fallback.
02Настройка эндпоинта: пошаговый процесс
После того как функция Private Endpoints активирована для вашей организации, администратор может зарегистрировать развертывание на странице Private Endpoints в личном кабинете. Процесс настройки требует соблюдения нескольких технических условий, которые обеспечивают безопасность и совместимость.
Во-первых, развертывание должно хоститься у провайдера, который поддерживает механизм BYOK (Bring Your Own Key). Это необходимо, так как OpenRouter обращается к вашему ресурсу с использованием вашего собственного ключа API. Во-вторых, развертывание должно обслуживать модель, которая уже присутствует в каталоге OpenRouter. Это связано с тем, что приватный эндпоинт наследует слуг модели и ее возможности из существующей записи в каталоге. Вы можете указать собственное ценообразование, чтобы эндпоинт корректно отображался в отчетах о затратах, а также заявить, сохраняет ли развертывание промпты (историю запросов).
Перед тем как любой трафик начнет направляться на новый эндпоинт, OpenRouter выполняет критически важный шаг: отправляет один реальный тестовый запрос через ключ провайдера, сохраненный в одном из ваших рабочих пространств (workspaces). Этот тест служит для проверки нескольких аспектов:
- Принимается ли ключ API.
- Отвечает ли развертывание в формате, совместимом с OpenAI API.
- Работает ли потоковая передача данных (streaming).
- Возвращается ли информация об использовании (usage) для биллинга.
- Совпадает ли идентификатор модели с тем, который вы зарегистрировали.
Только после успешного прохождения всех проверок эндпоинт активируется, и рабочие пространства вашей организации могут вызывать его по слугу модели. До этого момента он остается скрытым и недоступным для вызовов.
Источник: OpenRouter ↗