av/harbor

Прекратите настраивать свой AI-стек. Начните его использовать. Одна команда развернет полностью готовый LLM-стек с сотнями сервисов для изучения.

Инструменты⭐ 3 217Pythonпоследний релиз: v0.5.12
Открыть на GitHub ↗Сайт проекта ↗

Что это за инструмент

Harbor — это CLI-инструмент для быстрого развертывания готового локального стека LLM, включающего бэкенды (Ollama, llama.cpp, vLLM) и фронтенды (Open WebUI).

Зачем нужен

Инструмент решает проблему сложной настройки инфраструктуры для работы с большими языковыми моделями, позволяя запустить полностью конфигурированный стек одной командой. Он полезен тем, кто хочет сразу получить работающее окружение с поддержкой Web RAG, TTS/STT и веб-поиска, избегая ручной настройки множества сервисов.

Что можно реализовать

  • Быстрый запуск локального интерфейса Open WebUI с подключенным бэкендом llama.cpp
  • Настройка локального веб-поиска через SearXNG для интеграции с LLM
  • Добавление функциональности TTS/STT (текст в речь и обратная транскрипция) в стек
  • Исследование и тестирование различных LLM-бэкендов (Ollama, vLLM) в единой среде

Ключевые возможности

  • Запуск полного стека одной командой (harbor up)
  • Поддержка множества бэкендов: Ollama, llama.cpp, vLLM
  • Интеграция с Open WebUI для удобного взаимодействия
  • Встроенная поддержка Web RAG, TTS и STT
  • Наличие сотен готовых сервисов для изучения

👤 Кому подойдёт: разработчики, исследователи и энтузиасты, интересующиеся локальным развертыванием LLM

Релизы

v0.5.12minor
🕐 2 дн назад · релиз на GitHub ↗

Добавлена поддержка бэкенда PrismML llama.cpp для оптимизированных GGUF-моделей Ternary Bonsai 2 с высокой эффективностью.

  • Added: Добавлен бэкенд PrismML llama.cpp, позволяющий запускать GGUF-модели Ternary Bonsai 2 (PTQ1_0/PQ2_0) на CPU, NVIDIA и ROCm через единый интерфейс.
  • Added: Реализована команда `harbor models pull --source prismml` для загрузки моделей Bonsai через специализированный рантайм.
  • Added: Созданы аналоги кросс-сервисных интеграций llama.cpp для PrismML, включая поддержку `harbor up prismml webui`.
  • На RTX 4090 Laptop модель Bonsai 2 27B потребляет 8.3 ГБ памяти и работает на 25% быстрее аналогов при сопоставимом качестве.
v0.5.11minor
🕐 3 дн назад · релиз на GitHub ↗

Обновление Halogen: увеличена длина генерации, улучшена стабильность при долгих паузах и оптимизировано использование памяти.

  • Added: Длинные циклы мышления Halogen теперь могут завершаться, не ограничиваясь 8192 токенами.
  • Fixed: Движок Halogen поддерживает работу во время долгих пауз декодирования (до 900 секунд).
  • Added: В Halogen 0.6.3 оптимизирован размер KV-пула, чтобы кэш таблиц поиска оставался доступным для Open WebUI.
v0.5.10minor
🕐 7 дн назад · релиз на GitHub ↗

В n8n добавлена песочница для кода ассистента, что позволяет завершить настройку через GUI-мастер.

  • Added: В процесс первичной настройки n8n интегрирована песочница для кода ассистента, что позволяет новым инстансам успешно проходить мастер настройки в графическом интерфейсе.
v0.5.9patch
🕐 8 дн назад · релиз на GitHub ↗

Исправлены права доступа к кэшу Hugging Face: загрузка теперь выполняется от имени пользователя, а кэш автоматически восстанавливается после обновления.

  • Fixed: Загрузка моделей Hugging Face теперь выполняется от имени настроенного пользователя хоста, а не от root.
  • Fixed: Исправлены права доступа к кэшу Hugging Face: кэш автоматически восстанавливается после обновления без необходимости ручной пересборки образов.
  • Fixed: Исправление прав доступа применяется к существующим образам загрузчика без необходимости их пересборки (fixes #262).
v0.5.8minor
🕐 8 дн назад · релиз на GitHub ↗

Добавлена поддержка Halogen Flash Server для Qwen3.8 на AMD Strix Halo. Исправлена загрузка с Hugging Face при проблемах с правами доступа.

  • Added: Добавлен Halogen Flash Server для запуска Qwen3.8 через OpenAI-совместимый API на AMD Strix Halo с интеграцией Open WebUI.
  • Fixed: Исправлена загрузка с Hugging Face, если кэш был создан от root, а новые файлы должны принадлежать пользователю хоста.
v0.5.7minor
🕐 13 дн назад · релиз на GitHub ↗

В Harbor v0.5.7 появилась OCR-модель Chandra 2, режим codemode для Boost и точечное управление сервисами.

  • Added: Добавлена модель Chandra 2 для OCR документов и изображений с выводом в Markdown, HTML или JSON.
  • Added: В Boost внедрен модуль codemode: модель генерирует единый Python-скрипт для вызова всех инструментов.
  • Fixed: Команды down и restart теперь воздействуют только на указанные сервисы, не затрагивая остальные.
  • Added: Появилась возможность задавать переменные окружения через файл default.env для каждого сервиса.
  • Fixed: Сайдкар ollama-init переписан на Alpine, что значительно уменьшает размер образа.
v0.5.6minor
🕐 22 дн назад · релиз на GitHub ↗

В Harbor v0.5.6 добавлены шесть новых сервисов: TEI, LightRAG, Paperless, Paperless-GPT, Whishper и Linkwarden с интеграциями и Traefik.

  • Added: Добавлены сервисы Text Embeddings Inference, LightRAG, Paperless, Paperless-GPT, Whishper и Linkwarden.
  • Added: Все новые сервисы интегрированы с Open WebUI, LibreChat и AnythingLLM, имеют маршруты Traefik и документацию.
  • Added: LightRAG теперь полностью работает на AMD-хостах благодаря ROCm cross-file, оставляя модель запросов на CPU.
  • Fixed: Исправлен вход в Linkwarden и Paperless: авторизация остается на хостах Traefik, без перенаправления на localhost.
  • Fixed: Whishper исправляет права владения workspace при запуске и дублирует вывод воркеров в docker logs.
v0.5.5minor
🕐 1 мес назад · релиз на GitHub ↗

Добавлен локальный пайплайн Speech-to-Speech, обновлены Dify и ComfyUI, устранены проблемы с правами доступа и кэшем моделей.

  • Added: Добавлен локальный пайплайн Speech-to-Speech (s2s) с автоматическим подключением к бэкендам Harbor.
  • Added: Файлы рабочих пространств и конфигурации теперь принадлежат пользователю хоста, избегая проблем с правами root.
  • Fixed: Исправлено обнаружение кэшированных GGUF-моделей для llama.cpp, Ollama, LocalAI и других сервисов.
  • Fixed: Выполнен масштабный ремонт сервисов (Open WebUI, OpenHands, Perplexica и др.) на актуальных образах.
  • Added: Обновлен Dify до стека 1.x, DeerFlow — до v2, а ComfyUI переведен на образ с рабочей поддержкой ROCm.
v0.5.4minor
🕐 2 мес назад · релиз на GitHub ↗

Релиз v0.5.4: исправлены критические ошибки при первом запуске сервисов, добавлена интеграционная проверка и улучшена работа с GPU AMD.

  • Fixed: Исправлены сбои при первом запуске SearXNG, Langflow, AnythingLLM, LibreChat, LibreTranslate, Plandex и других сервисов.
  • Added: Добавлен скрипт интеграционного тестирования services-integration.sh, проверяющий 40 сервисов Harbor end-to-end.
  • Added: Подтверждена работа ROCm-вариантов (llama.cpp, Ollama, LocalAI, Lemonade) на оборудовании AMD с автоопределением хоста.
  • Fixed: Boost теперь корректно возвращает реальный HTTP-статус и тело ошибки бэкенда вместо пустого 200.
  • Added: harbor up поддерживает выбор сервисов из разных файлов, а harbor pull теперь блокирует запуск Ollama при неизвестных именах.