AiKraft

tashfeenahmed/freellmapi

7,4 миллиарда токенов в месяц. 34 бесплатных LLM-провайдера. 635 бесплатных endpoint моделей. Всё через один /v1 endpoint, плюс любые совместимые с OpenAI endpoint. Умная маршрутизация, автоматическое переключение при сбоях, зашифрованные ключи. Только для личных экспериментов.

Инструменты⭐ 40 358TypeScriptпоследний релиз: v0.16.9
Открыть на GitHub ↗Сайт проекта ↗

Что это за инструмент

FreeLLMAPI — это локальный прокси-сервер, агрегирующий бесплатные тарифы (free tier) десятков провайдеров LLM в единый OpenAI-compatible endpoint.

Зачем нужен

Инструмент решает проблему фрагментации бесплатных API, объединяя 34 провайдера и 635 эндпоинтов под одним интерфейсом. Он автоматически маршрутизирует запросы, выбирая лучшие доступные модели, и обеспечивает автоматический failover при достижении лимитов, позволяя использовать до 7.4 млрд токенов в месяц бесплатно.

Что можно реализовать

  • Локальная разработка и тестирование AI-приложений с использованием различных LLM без настройки множества SDK
  • Создание AI-агентов, требующих высокой отказоустойчивости и обхода rate-limit отдельных провайдеров
  • Исследование и сравнение производительности моделей от разных вендоров через единый интерфейс
  • Эксперименты с новыми моделями, которые автоматически добавляются в каталог без обновления кода

Ключевые возможности

  • Единый OpenAI-compatible endpoint для работы с любым клиентом, поддерживающим стандарт
  • Умная маршрутизация (smart routing) и автоматический failover при ошибках или лимитах
  • Шифрование API-ключей и отслеживание использования токенов для соблюдения лимитов free tier
  • Автоматическое обновление каталога моделей через подписанный feed от разработчика
  • Поддержка не только chat, но и embedding, image и audio endpoints

👤 Кому подойдёт: разработчики, исследователи, энтузиасты AI, занимающиеся прототипированием и персональными экспериментами

Релизы

v0.16.9minor
🕐 вчера · релиз на GitHub ↗

Добавлен Brave Search, мягкие алерты бюджета и keep-alive для стримов; исправлен критический баг Groq.

  • Added: Добавлен Brave Search как новый движок веб- и новостного поиска с бесплатными кредитами.
  • Added: Введены мягкие алерты бюджета при достижении 80% и 100% лимита с поддержкой вебхуков.
  • Added: Добавлена опциональная функция keep-alive пингов для моделей с долгим временем ответа.
  • Fixed: Исправлен баг Groq, из-за которого модель могла отказывать почти во всех запросах.
  • Added: Кастомные эндпоинты теперь корректно определяют модели как аудио, изображения или эмбеддинги.
v0.16.8minor
🕐 вчера · релиз на GitHub ↗

Обновление до Node.js 24, добавление провайдеров IteraCompute и Keenable, защита от DNS-rebinding и фикс длинных стримов.

  • Added: Базовый образ Docker обновлён с Node.js 20 на 24.22.1 в связи с окончанием поддержки и исправлением уязвимостей.
  • Added: Добавлен адаптер IteraCompute для работы с моделями Qwen3 и поддержка Keenable как ключенезависимого поиска.
  • Added: Введена опциональная защита от DNS-rebinding через allowlist заголовка Host (ALLOWED_HOSTS).
  • Fixed: Исправлено преждевременное завершение стримов при долгом мышлении модели, теперь клиенты остаются подключёнными.
  • Added: В панели управления добавлена настройка прокси для каждого ключа и улучшен импорт .env файлов.
v0.16.7minor
🕐 3 дн назад · релиз на GitHub ↗

Добавлен провайдер onomeo, внедрены лимиты на ключи для rerank/moderation и новый эндпоинт /v1/usage.

  • Added: Добавлен адаптер onomeo с бесплатным тарифом (30 запросов за 5 часов).
  • Added: Эндпоинт GET /v1/usage теперь показывает расходы и лимиты для каждого ключа.
  • Added: Внедрены ежемесячные лимиты на ключи для rerank, moderation и проверки маршрутизатора.
  • Fixed: SerpSearch больше не отправляет тестовые запросы при добавлении ключа.
  • Fixed: Исправлена маркировка платных моделей как бесплатных при обнаружении.
v0.16.6minor
🕐 4 дн назад · релиз на GitHub ↗

Добавлена поддержка ZCode, эндпоинт /v1/usage и метка последнего запроса; устранено избыточное тестирование ключей SerpSearch/Exa.

  • Added: Добавлена поддержка ZCode: команда setup-zcode регистрирует провайдера в реестре ZCode.
  • Added: Появился новый эндпоинт GET /v1/usage для получения статистики запросов и токенов по провайдерам.
  • Added: В интерфейсе отображается время последнего успешного запроса (last worked) для каждого ключа.
  • Fixed: Устранено частое тестирование ключей SerpSearch, Exa и Parallel, которое приводило к блокировке аккаунтов.
  • Fixed: Исправлена ошибка 500 в панели recent-calls при дублировании параметров провайдера в URL.
v0.16.5patch
🕐 5 дн назад · релиз на GitHub ↗

Исправлена активация Premium на Windows (HTTP 502) и улучшена читаемость ошибок.

  • Fixed: Активация Premium на Windows теперь работает через стек Chromium, что решает проблему с HTTP 502.
  • Fixed: В панели управления теперь отображается реальная причина ошибки вместо общего кода HTTP 502.
  • Fixed: Удалена необходимость ручной настройки системных сертификатов через NODE_OPTIONS.
v0.16.4patchbreaking
🕐 5 дн назад · релиз на GitHub ↗

Удалена поддержка Auray по запросу провайдера; исправлено ограничение частоты запросов APINex.

  • Breaking: Провайдер Auray полностью удалён: ключи, модели и маршруты удалены при обновлении, история запросов сохранена.
  • Fixed: Роутер теперь корректно применяет лимит APINex (5 запросов в минуту на ключ для всех моделей), предотвращая ошибки 429.
  • Added: Добавлена переменная окружения PROVIDER_MINUTE_REQUEST_CAP_APINEX для отключения или настройки лимита APINex.
  • Выпущены установщики для Windows, macOS (Apple Silicon и Intel) и Linux, а также образ Docker v0.16.4.
v0.16.3minor
🕐 5 дн назад · релиз на GitHub ↗

Добавлена поддержка APINex (чат, стриминг, модели решений), улучшена маршрутизация и кэширование.

  • Added: Добавлена поддержка APINex: чат, стриминг и нативные модели решений с валидацией ключей.
  • Added: В каталог включены 11 протестированных маршрутов APINex, включая 10 чат-моделей и JEV 1.13.
  • Added: Реализована новая стратегия маршрутизации решений с кэшированием, учитывающим уверенность.
  • Fixed: Исправлено корректное разделение длительностей повторных попыток upstream.
  • Added: Добавлено массовое удаление пользовательских моделей и улучшен интерфейс загрузки.
v0.16.2patch
🕐 6 дн назад · релиз на GitHub ↗

Исправлены ошибки синхронизации каталога и устойчивость проверки обновлений GitHub.

  • Fixed: При сбое синхронизации теперь указывается точная причина ошибки в логах и интерфейсе.
  • Fixed: Проверка обновлений больше не падает с ошибкой 502 из-за некорректных символов в названиях релизов.
  • Added: Подписант каталога теперь блокирует публикацию данных, которые приложение отклонит.
v0.16.1minor
🕐 6 дн назад · релиз на GitHub ↗

Добавлены новые провайдеры BeatAPI и SerpSearch, исправлена обработка back-off и очистка логов.

  • Added: Добавлена интеграция JEV System One для BeatAPI с проверкой ответов и валидацией учетных данных.
  • Added: Добавлен провайдер SerpSearch для веб- и новостного поиска с бесплатным тарифом (1000 запросов в месяц).
  • Fixed: Запросы на принятие решений и поиск теперь корректно учитывают задержки back-off из ошибок upstream.
  • Fixed: Улучшена очистка хранилища: теперь удаляются логи попыток решений и истекшие сессии дашборда.
  • Обновлен каталог: добавлены две модели решений и один поисковый движок, обновления для Free с задержкой 30 дней.
v0.16.0majorbreaking
🕐 7 дн назад · релиз на GitHub ↗

Добавлены модели для принятия решений, новые настройки роутинга, исправлены ключи LLMTR и удалён провайдер GitHub Models.

  • Added: Появились decision-модели для ответов с вероятностями и новые настройки роутинга (минимальный контекст, уровни Claude).
  • Breaking: Удалён провайдер GitHub Models, так как сервис закрыт; соответствующие ключи и настройки удалены при обновлении.
  • Fixed: Восстановлена работа ключей LLMTR, отключенных в предыдущих версиях, и исправлена передача изображений в Cloudflare.
  • Added: Добавлена обработка некорректных значений reasoning_effort для Groq и улучшена работа с кастомными эндпоинтами.
v0.15.0minor
🕐 8 дн назад · релиз на GitHub ↗

Добавлен бесплатный Parallel, провайдер Auray, инструменты MCP и исправлена авторизация в десктопном приложении.

  • Added: Добавлен бесплатный веб-поиск через Parallel без ключа API.
  • Added: Поддержан провайдер Auray для чатов и эмбеддингов.
  • Added: Добавлены новые инструменты MCP: provider_list, quota_outlook, clear_cache.
  • Fixed: Исправлена проблема с запросом входа в браузер при открытии десктопного приложения.
  • Fixed: Улучшена маршрутизация при превышении контекстного окна и очистка базы данных.
v0.14.2minor
🕐 11 дн назад · релиз на GitHub ↗

FreeLLMAPI v0.14.2: добавлен веб-поиск через `/v1/search`, поддержка в Claude Code/Codex и улучшения десктопа.

  • Added: Новый эндпоинт /v1/search для веб-поиска через Tavily, Exa, Firecrawl и Linkup с автоматическим переключением между ключами.
  • Added: Работа инструментов WebSearch в Claude Code и Codex, а также добавление инструмента web_search в MCP-сервер.
  • Added: Обновление интерфейса: управление поисковыми движками в панели, переключатель поиска в Playground и аналитика запросов.
  • Fixed: Исправлен вход после сброса пароля и корректная обработка ошибок 413 при превышении размера промпта в Fusion.
  • Added: Улучшена стабильность сборок для macOS благодаря исправлению процесса нотаризации и фиксации версии Python для Intel.
v0.13.10patch
🕐 12 дн назад · релиз на GitHub ↗

Исправлен критический сбой сервера на старых x86-процессорах без поддержки SSE4.2, улучшена совместимость с Windows.

  • Fixed: Устранён крах сервера на старых CPU (например, Intel Atom, Core 2) без поддержки SSE4.2, вызывавший перезагрузку Docker-контейнера.
  • Fixed: Библиотека изменения размера изображений теперь загружается только при необходимости обработки медиа, а не при каждом текстовом запросе.
  • Fixed: Скрипты инициализации и тесты CLI теперь корректно работают в Windows, включая PowerShell 7.