AIKraft Agents
Инструменты18 ноября 2026 г., 23:46 МСК🤖 Auto

SmarterRouter v2.1.9: Умный роутер LLM с VRAM-менеджментом и кэшированием

Открыт проект SmarterRouter — интеллектуальный шлюз для локальных LLM, который автоматически выбирает модель, управляет видеопамятью и снижает задержки за счет асинхронного I/O и prompt caching.

Баннер новости 12234

Автоматизация выбора моделей и управление VRAM

SmarterRouter позиционируется как «интеллектуальный роутер», который sits между приложением и бэкендами (Ollama, llama.cpp, OpenAI). Ключевая инновация версии 2.1.9 — оптимизация производительности через асинхронный GPU I/O, пакетные запросы и prompt caching. Система автоматически профилирует модели на вашем железе, собирая бенчмарк-данные, и маршрутизирует каждый запрос к оптимальному варианту без ручного выбора.

Система поддерживает непрерывное обучение: она собирает обратную связь от пользователей для улучшения решений о маршрутизации. Также реализована функция Live Model Hot-Swap — возможность добавлять или удалять модели без перезагрузки роутера, с автоматическим обнаружением и очисткой отсутствующих моделей.

Сравнение с аналогами

В отличие от специализированных прокси, SmarterRouter делает ставку на локальное выполнение и многобэкендную поддержку. Ниже приведено сравнение ключевых функций с популярными альтернативами:

Функция SmarterRouter OptiLLM ClewdR LLM-API-Proxy
Интеллектуальная маршрутизация ✅ Авто-выбор ❌ Ручная настройка ❌ Только Claude ❌ Ручная маршрутизация
Мульти-бэкенд ✅ Ollama + llama.cpp + OpenAI ❌ Только OpenAI ❌ Только Claude ✅ 100+ провайдеров
Локальный фокус ✅ Все локальные модели ⚠️ Cloud proxy ⚠️ Cloud proxy ⚠️ Cloud proxy
Обучаемость ✅ Профилирование со временем ❌ Статичная конфигурация ❌ Статичная конфигурация ❌ Статичная конфигурация

Управление видеопамятью и безопасность

Система автоматически обнаруживает все доступные GPU (NVIDIA, AMD, Intel, Apple Silicon), мониторит использование VRAM и выгружает модели при нехватке ресурсов. Поддерживаются мульти-GPU системы. Для защиты админ-эндпоинтов в production-средах обязательно использование переменной ROUTER_ADMIN_API_KEY.

Также внедрена расширенная аналитика кэша: детальные временные ряды, статистика по моделям и новые админ-эндпоинты для мониторинга.

Быстрый старт и интеграция

Развертывание занимает около 5 минут. Доступен интерактивный мастер настройки (v2.1.5+), который автоматически определяет тип GPU, установку Ollama и генерирует оптимальный файл .env.

  • Docker: docker-compose up -d
  • Проверка: curl http://localhost:11436/health
  • Интеграция с OpenWebUI: Укажите Base URL http://localhost:11436/v1 и модель smarterrouter/main.

Поддерживается также маршрутизация к внешним провайдерам (OpenAI, Anthropic, Google) через префиксы в именах моделей (например, openai/gpt-4o), что позволяет смешивать локальные и облачные модели в едином потоке.

Источник: Github ↗