Разработчик tashfeenahmed выпустил релиз FreeLLMAPI v0.16.15, который расширяет экосистему бесплатных LLM-провайдеров. Главное нововведение — встроенная поддержка сервиса nabh.cloud для обычных и потоковых (streaming) чат-завершений. Это позволяет пользователям роутера получать доступ к моделям через новый источник без необходимости сложной настройки.
Технические детали и безопасность
Важной особенностью интеграции nabh.cloud является механизм проверки ключей API. Роутер использует запросы read-only (только для чтения) к списку моделей для проверки здоровья ключа, что гарантирует нулевое потребление кредитов на инференс при валидации. Система также разделяет квоты на уровне аккаунта, сохраняет ошибки upstream-провайдеров для корректного фолбэка и отклоняет ответы с несовпадающими идентификаторами моделей.
Доступность моделей и политика каталога
На данный момент основным протестированным маршрутом для бесплатного плана является модель GPT OSS 20B. Распределение моделей происходит через подписанный живой каталог, а не через встроенные в приложение «зеркала». Это обеспечивает актуальность списка, но вводит задержку для бесплатных пользователей.
| Параметр | Free-план | Premium ($19/год) |
|---|---|---|
| Доступ к каталогу | С задержкой 30 дней | Мгновенный доступ |
| Проверка API-ключа | Read-only запрос (0 кредитов) | Read-only запрос (0 кредитов) |
| Поддержка nabh.cloud | Да (GPT OSS 20B) | Да (все доступные модели) |
Предыстория обновлений (v0.16.11–v0.16.14)
Версия 0.16.15 является частью серии быстрых патчей конца октября. Предыдущие релизы добавили:
- v0.16.14: Поддержку JamAI (чат и эмбеддинги) и исправление критической ошибки подключения Apple CloudKit на Intel-машинах.
- v0.16.12: Внедрение Decision APIs для провайдеров HAL-X и AI SENSE, а также извлечение данных через Cloudflare Clairic.
- v0.16.11: Поддержку KiosAPI (5 бесплатных маршрутов в день), генерации изображений FLUX Schnell/Dev от Plugsky и typed-решений от BlockRun.
Где скачать
Обновление доступно для Windows, macOS (arm64/x64) и Linux (AppImage). Также опубликован Docker-образ ghcr.io/tashfeenahmed/freellmapi:v0.16.15. Все сборки прошли CI-тестирование на Node 20/22/24 и прошли проверку подписи и notarization для macOS.
Источник: Github ↗