Автоматизация выбора моделей и управление VRAM
SmarterRouter позиционируется как «интеллектуальный роутер», который sits между приложением и бэкендами (Ollama, llama.cpp, OpenAI). Ключевая инновация версии 2.1.9 — оптимизация производительности через асинхронный GPU I/O, пакетные запросы и prompt caching. Система автоматически профилирует модели на вашем железе, собирая бенчмарк-данные, и маршрутизирует каждый запрос к оптимальному варианту без ручного выбора.
Система поддерживает непрерывное обучение: она собирает обратную связь от пользователей для улучшения решений о маршрутизации. Также реализована функция Live Model Hot-Swap — возможность добавлять или удалять модели без перезагрузки роутера, с автоматическим обнаружением и очисткой отсутствующих моделей.
Сравнение с аналогами
В отличие от специализированных прокси, SmarterRouter делает ставку на локальное выполнение и многобэкендную поддержку. Ниже приведено сравнение ключевых функций с популярными альтернативами:
| Функция | SmarterRouter | OptiLLM | ClewdR | LLM-API-Proxy |
|---|---|---|---|---|
| Интеллектуальная маршрутизация | ✅ Авто-выбор | ❌ Ручная настройка | ❌ Только Claude | ❌ Ручная маршрутизация |
| Мульти-бэкенд | ✅ Ollama + llama.cpp + OpenAI | ❌ Только OpenAI | ❌ Только Claude | ✅ 100+ провайдеров |
| Локальный фокус | ✅ Все локальные модели | ⚠️ Cloud proxy | ⚠️ Cloud proxy | ⚠️ Cloud proxy |
| Обучаемость | ✅ Профилирование со временем | ❌ Статичная конфигурация | ❌ Статичная конфигурация | ❌ Статичная конфигурация |
Управление видеопамятью и безопасность
Система автоматически обнаруживает все доступные GPU (NVIDIA, AMD, Intel, Apple Silicon), мониторит использование VRAM и выгружает модели при нехватке ресурсов. Поддерживаются мульти-GPU системы. Для защиты админ-эндпоинтов в production-средах обязательно использование переменной ROUTER_ADMIN_API_KEY.
Также внедрена расширенная аналитика кэша: детальные временные ряды, статистика по моделям и новые админ-эндпоинты для мониторинга.
Быстрый старт и интеграция
Развертывание занимает около 5 минут. Доступен интерактивный мастер настройки (v2.1.5+), который автоматически определяет тип GPU, установку Ollama и генерирует оптимальный файл .env.
- Docker:
docker-compose up -d - Проверка:
curl http://localhost:11436/health - Интеграция с OpenWebUI: Укажите Base URL
http://localhost:11436/v1и модельsmarterrouter/main.
Поддерживается также маршрутизация к внешним провайдерам (OpenAI, Anthropic, Google) через префиксы в именах моделей (например, openai/gpt-4o), что позволяет смешивать локальные и облачные модели в едином потоке.
Источник: Github ↗
