AIKraft Agents

cheaper-inference/OmniRoute

Никогда не прекращайте кодить. Бесплатный AI-шлюз с лицензией MIT: один эндпоинт, 375 провайдеров (150+ бесплатных), 1400+ моделей Kimi, Claude, GPT, Gemini, GLM, DeepSeek, MiniMax. Работает с Claude Code, Codex, Cursor, OpenCode, Cline и Copilot. Автоматический фоллбэк с учетом квот, сжатие RTK+Cav

Инференс⭐ 84 898TypeScriptпоследний релиз: v3.8.52
Открыть на GitHub ↗Сайт проекта ↗

Что это за инструмент

OmniRoute — это бесплатный шлюз (gateway) с открытым исходным кодом под лицензией MIT, предоставляющий единую точку входа для работы с 375 провайдерами и 1400+ моделями ИИ.

Зачем нужен

Инструмент решает проблему фрагментации API, позволяя подключать различные LLM (Claude, GPT, Gemini, DeepSeek и др.) через один endpoint. Он автоматически управляет квотами, использует стратегии авто-фолбэка и сжатия токенов (RTK+Caveman), что позволяет экономить до 95% токенов и избегать ограничений бесплатных тарифов.

Что можно реализовать

  • Интеграция единого API ключа в IDE-плагины (Cursor, Copilot, Cline, Codex) для работы с разными моделями без переключения настроек.
  • Автоматическое переключение на альтернативные модели при достижении лимитов или недоступности основного провайдера (auto-fallback).
  • Оптимизация расходов на генерацию текста за счет стекирования сжатия токенов (RTK + Caveman compression).
  • Использование бесплатных квот множества провайдеров (150+ free tiers) через единую панель мониторинга лимитов.

Ключевые возможности

  • Поддержка 375 провайдеров и 1400+ моделей, включая Kimi, Claude, GPT, Gemini, GLM, DeepSeek, MiniMax.
  • Встроенная поддержка MCP (Model Context Protocol) и A2A (Agent-to-Agent) протоколов.
  • Автоматическое управление квотами и маршрутизация запросов с учетом доступности ресурсов.
  • Сжатие токенов (RTK + Caveman), экономящее в среднем 89% токенов (диапазон 15-95%).
  • Наличие десктопного приложения и PWA, а также дашборда для мониторинга использования бесплатных лимитов.

👤 Кому подойдёт: разработчики, использующие AI-ассистентов в IDE, и команды, стремящиеся оптимизировать затраты на LLM API

Релизы

v3.8.52minor
🕐 17 дн назад · релиз на GitHub ↗

OmniRoute v3.8.52: новые провайдеры (BigModel, NoTrack), стратегия маршрутизации Nadir, сжатие промптов LLMLingua и управление кредитами.

  • Added: Добавлены провайдеры BigModel.cn (Zhipu) и NoTrack, а также поддержка биллинга Hugging Face через заголовок X-HF-Bill-To.
  • Added: Введена стратегия авто-маршрутизации Nadir, делегирующая выбор модели внешнему API, и сервис сжатия промптов LLMLingua.
  • Added: Появилась возможность явного опционального использования дополнительных кредитов для аккаунтов OpenAI и управления уровнями сервисов по ключам.
  • Added: Реализованы лимиты параллельных соединений на модель и флаг отключения кэширования текста рассуждений (Reasoning Replay).