AIKraft Agents

av/harbor

Прекратите настраивать свой AI-стек. Начните его использовать. Одна команда развернет полностью готовый LLM-стек с сотнями сервисов для изучения.

Инструменты⭐ 3 263Pythonпоследний релиз: v0.5.19
Открыть на GitHub ↗Сайт проекта ↗

Что это за инструмент

Harbor — это CLI-инструмент для быстрого развертывания готового локального стека LLM, включающего бэкенды (Ollama, llama.cpp, vLLM) и фронтенды (Open WebUI).

Зачем нужен

Инструмент решает проблему сложной настройки инфраструктуры для работы с большими языковыми моделями, позволяя запустить полностью конфигурированный стек одной командой. Он полезен тем, кто хочет сразу получить работающее окружение с поддержкой Web RAG, TTS/STT и веб-поиска, избегая ручной настройки множества сервисов.

Что можно реализовать

  • Быстрый запуск локального интерфейса Open WebUI с подключенным бэкендом llama.cpp
  • Настройка локального веб-поиска через SearXNG для интеграции с LLM
  • Добавление функциональности TTS/STT (текст в речь и обратная транскрипция) в стек
  • Исследование и тестирование различных LLM-бэкендов (Ollama, vLLM) в единой среде

Ключевые возможности

  • Запуск полного стека одной командой (harbor up)
  • Поддержка множества бэкендов: Ollama, llama.cpp, vLLM
  • Интеграция с Open WebUI для удобного взаимодействия
  • Встроенная поддержка Web RAG, TTS и STT
  • Наличие сотен готовых сервисов для изучения

👤 Кому подойдёт: разработчики, исследователи и энтузиасты, интересующиеся локальным развертыванием LLM

Релизы

v0.5.19patch
🕐 5 дн назад · релиз на GitHub ↗

Исправления в harbor up, Hermes, AutoGPT и Boost; обновление образов и поддержка max_completion_tokens.

  • Fixed: harbor up больше не конфликтует с собственным контейнером при привязке к адресу и не падает при завершении sidecar-инициализаторов.
  • Fixed: Hermes снова работает с актуальными образами nousresearch/hermes-agent при подключении бэкендов.
  • Fixed: AutoGPT теперь использует платформу AutoGPT Platform вместо устаревшего Classic с интеграциями Ollama и Traefik.
  • Fixed: Boost отправляет max_completion_tokens для моделей OpenAI gpt-5 и o-series вместо отклоняемого max_tokens.
v0.5.17patch
🕐 12 дн назад · релиз на GitHub ↗

Исправлена работа десктопного приложения на Linux, добавлен портативный значок для AppImage и обновлена документация.

  • Fixed: Устранены проблемы с запуском десктопного приложения на Linux.
  • Added: AppImage-сборки теперь включают портативный значок и корректно запускаются для обычных пользователей.
  • Fixed: README-файл обновлен для корректной идентификации Harbor в каталоге AppImage.
v0.5.16minor
🕐 16 дн назад · релиз на GitHub ↗

В Harbor v0.5.16 добавлены rummage для мультимодального поиска и Harbor для оценки агентов.

  • Added: Добавлен rummage — локальный семантический поиск по файлам с поддержкой текста, изображений и видео через EmbeddingGemma 2.
  • Added: Добавлен Harbor (Agent Evaluations) — фреймворк Laude Institute для оценки агентов в локальных Docker-задачах.
  • Added: Команда harbor dev seed-cdi теперь сохраняет CDI-файлы без сгенерированного заголовка для ручной настройки GPU-образов.
v0.5.15minor
🕐 23 дн назад · релиз на GitHub ↗

В harbor models pull добавлена возможность загрузки конкретных файлов через Hugging Face CLI, а не целых репозиториев.

  • Added: Команда `harbor models pull` теперь загружает только указанные файлы, передавая их имена в Hugging Face CLI.
  • Fixed: Исправлено поведение при указании имён файлов: ранее они игнорировались и скачивался весь репозиторий.
  • Added: Загрузка без указания `--source` теперь также проходит через Hugging Face CLI, включая репозитории GGUF.
  • Загрузка только по имени репозитория работает как раньше, без изменений.
v0.5.14minor
🕐 1 мес назад · релиз на GitHub ↗

Релиз v0.5.14: добавлены Latitude, AutoGen Studio, LobeHub, R2R, Caddy, RAGFlow, ClaraVerse, Qwen Code; улучшена стабильность и интеграции.

  • Added: Добавлены сервисы: Latitude (наблюдаемость), AutoGen Studio, LobeHub, R2R, Caddy, RAGFlow, ClaraVerse и Qwen Code.
  • Added: Появилась возможность запуска Harbor из одноразового Docker-контейнера через скрипт harbor-docker.sh.
  • Fixed: Исправлена ложная детекция ROCm в harbor doctor и ошибка сборки образа Harbor Agent.
  • Fixed: Улучшена работа Perplexica с LAN, сохранение моделей в AnythingLLM и чтение профилей для папок с точкой.
  • Added: Добавлены обертки для CLI сервисов, поддержка кастомных CA для Deno и пининг тега ROCm для Ollama.
v0.5.13patch
🕐 1 мес назад · релиз на GitHub ↗

Исправлена обработка ошибок загрузки моделей, обновлена документация PrismML с бенчмарками Bonsai 2.

  • Fixed: harbor models pull теперь корректно сообщает об ошибках загрузки и указывает на команду harbor fixfs при проблемах с правами доступа к кэшу.
  • Added: В документацию PrismML добавлены результаты тестов квантований Bonsai 2: PQ2_0 работает на 25% быстрее PTQ1_0 при схожем качестве ответов.
  • Предупреждение: использование нескольких слотов (-np) на ROCm ухудшает качество ответов; стандартная конфигурация с одним слотом не затрагивается.
v0.5.12minor
🕐 1 мес назад · релиз на GitHub ↗

Добавлена поддержка бэкенда PrismML llama.cpp для оптимизированных GGUF-моделей Ternary Bonsai 2 с высокой эффективностью.

  • Added: Добавлен бэкенд PrismML llama.cpp, позволяющий запускать GGUF-модели Ternary Bonsai 2 (PTQ1_0/PQ2_0) на CPU, NVIDIA и ROCm через единый интерфейс.
  • Added: Реализована команда `harbor models pull --source prismml` для загрузки моделей Bonsai через специализированный рантайм.
  • Added: Созданы аналоги кросс-сервисных интеграций llama.cpp для PrismML, включая поддержку `harbor up prismml webui`.
  • На RTX 4090 Laptop модель Bonsai 2 27B потребляет 8.3 ГБ памяти и работает на 25% быстрее аналогов при сопоставимом качестве.
v0.5.11minor
🕐 1 мес назад · релиз на GitHub ↗

Обновление Halogen: увеличена длина генерации, улучшена стабильность при долгих паузах и оптимизировано использование памяти.

  • Added: Длинные циклы мышления Halogen теперь могут завершаться, не ограничиваясь 8192 токенами.
  • Fixed: Движок Halogen поддерживает работу во время долгих пауз декодирования (до 900 секунд).
  • Added: В Halogen 0.6.3 оптимизирован размер KV-пула, чтобы кэш таблиц поиска оставался доступным для Open WebUI.
v0.5.10minor
🕐 1 мес назад · релиз на GitHub ↗

В n8n добавлена песочница для кода ассистента, что позволяет завершить настройку через GUI-мастер.

  • Added: В процесс первичной настройки n8n интегрирована песочница для кода ассистента, что позволяет новым инстансам успешно проходить мастер настройки в графическом интерфейсе.
v0.5.9patch
🕐 1 мес назад · релиз на GitHub ↗

Исправлены права доступа к кэшу Hugging Face: загрузка теперь выполняется от имени пользователя, а кэш автоматически восстанавливается после обновления.

  • Fixed: Загрузка моделей Hugging Face теперь выполняется от имени настроенного пользователя хоста, а не от root.
  • Fixed: Исправлены права доступа к кэшу Hugging Face: кэш автоматически восстанавливается после обновления без необходимости ручной пересборки образов.
  • Fixed: Исправление прав доступа применяется к существующим образам загрузчика без необходимости их пересборки (fixes #262).
v0.5.8minor
🕐 1 мес назад · релиз на GitHub ↗

Добавлена поддержка Halogen Flash Server для Qwen3.8 на AMD Strix Halo. Исправлена загрузка с Hugging Face при проблемах с правами доступа.

  • Added: Добавлен Halogen Flash Server для запуска Qwen3.8 через OpenAI-совместимый API на AMD Strix Halo с интеграцией Open WebUI.
  • Fixed: Исправлена загрузка с Hugging Face, если кэш был создан от root, а новые файлы должны принадлежать пользователю хоста.
v0.5.7minor
🕐 1 мес назад · релиз на GitHub ↗

В Harbor v0.5.7 появилась OCR-модель Chandra 2, режим codemode для Boost и точечное управление сервисами.

  • Added: Добавлена модель Chandra 2 для OCR документов и изображений с выводом в Markdown, HTML или JSON.
  • Added: В Boost внедрен модуль codemode: модель генерирует единый Python-скрипт для вызова всех инструментов.
  • Fixed: Команды down и restart теперь воздействуют только на указанные сервисы, не затрагивая остальные.
  • Added: Появилась возможность задавать переменные окружения через файл default.env для каждого сервиса.
  • Fixed: Сайдкар ollama-init переписан на Alpine, что значительно уменьшает размер образа.
v0.5.6minor
🕐 2 мес назад · релиз на GitHub ↗

В Harbor v0.5.6 добавлены шесть новых сервисов: TEI, LightRAG, Paperless, Paperless-GPT, Whishper и Linkwarden с интеграциями и Traefik.

  • Added: Добавлены сервисы Text Embeddings Inference, LightRAG, Paperless, Paperless-GPT, Whishper и Linkwarden.
  • Added: Все новые сервисы интегрированы с Open WebUI, LibreChat и AnythingLLM, имеют маршруты Traefik и документацию.
  • Added: LightRAG теперь полностью работает на AMD-хостах благодаря ROCm cross-file, оставляя модель запросов на CPU.
  • Fixed: Исправлен вход в Linkwarden и Paperless: авторизация остается на хостах Traefik, без перенаправления на localhost.
  • Fixed: Whishper исправляет права владения workspace при запуске и дублирует вывод воркеров в docker logs.
v0.5.5minor
🕐 2 мес назад · релиз на GitHub ↗

Добавлен локальный пайплайн Speech-to-Speech, обновлены Dify и ComfyUI, устранены проблемы с правами доступа и кэшем моделей.

  • Added: Добавлен локальный пайплайн Speech-to-Speech (s2s) с автоматическим подключением к бэкендам Harbor.
  • Added: Файлы рабочих пространств и конфигурации теперь принадлежат пользователю хоста, избегая проблем с правами root.
  • Fixed: Исправлено обнаружение кэшированных GGUF-моделей для llama.cpp, Ollama, LocalAI и других сервисов.
  • Fixed: Выполнен масштабный ремонт сервисов (Open WebUI, OpenHands, Perplexica и др.) на актуальных образах.
  • Added: Обновлен Dify до стека 1.x, DeerFlow — до v2, а ComfyUI переведен на образ с рабочей поддержкой ROCm.
v0.5.4minor
🕐 3 мес назад · релиз на GitHub ↗

Релиз v0.5.4: исправлены критические ошибки при первом запуске сервисов, добавлена интеграционная проверка и улучшена работа с GPU AMD.

  • Fixed: Исправлены сбои при первом запуске SearXNG, Langflow, AnythingLLM, LibreChat, LibreTranslate, Plandex и других сервисов.
  • Added: Добавлен скрипт интеграционного тестирования services-integration.sh, проверяющий 40 сервисов Harbor end-to-end.
  • Added: Подтверждена работа ROCm-вариантов (llama.cpp, Ollama, LocalAI, Lemonade) на оборудовании AMD с автоопределением хоста.
  • Fixed: Boost теперь корректно возвращает реальный HTTP-статус и тело ошибки бэкенда вместо пустого 200.
  • Added: harbor up поддерживает выбор сервисов из разных файлов, а harbor pull теперь блокирует запуск Ollama при неизвестных именах.