Проблема «ручной сборки» решена
Запуск локального ИИ обычно требует от пользователя знаний DevOps: настройки Docker-контейнеров, проброса GPU, конфигурации Ollama, Open WebUI и n8n. Osmantic Deployment System (ODS) автоматизирует этот процесс. Релиз v2.5.3 позиционируется как стабильная версия, где система самостоятельно сканирует ваше железо, выбирает оптимальную модель для доступных ресурсов и разворачивает полный стек сервисов.
Ключевая фишка — режим bootstrap: вы можете начать общаться с моделью за 2 минуты, пока тяжеловесные модели докачиваются в фоне. Все данные остаются на вашем устройстве, облачные API используются только по желанию.
Что входит в готовый стек
ODS объединяет разрозненные инструменты в единую экосистему. Вместо сборки конструктора вы получаете готовый продукт с единой панелью управления:
- Локальный инференс: Запуск открытых моделей (LLM) на вашем GPU/CPU.
- Web UI: Интерфейс в стиле ChatGPT на порту
localhost:3000. - Агенты и воркфлоу: Интеграция с n8n для автоматизации задач, голосовых помощников и вызова инструментов.
- RAG и поиск: Подключение локальных документов для контекстных ответов.
- Генерация изображений: Локальный запуск графических нейросетей.
- Приватность: Управление секретами, аутентификацией и логированием в одном месте.
Поддержка платформ и требования
ODS работает на Linux, macOS (Apple Silicon) и Windows (через WSL2/Docker Desktop). Система поддерживает NVIDIA, AMD и Intel Arc. Ниже приведена матрица поддержки основных платформ:
| Платформа | Статус | Требования к железу/ПО |
|---|---|---|
| Linux | Поддерживается | NVIDIA, AMD, Intel Arc. Тестировано на Ubuntu 24.04/22.04, Debian 12, Fedora 41+, Arch, Manjaro. |
| Windows | Поддерживается | Требуется Docker Desktop с WSL2. NVIDIA (GPU passthrough), AMD Strix Halo (через специфичный путь). |
| macOS | Поддерживается | Только Apple Silicon (M1+). Требуется Docker Desktop. llama-server использует Metal для ускорения. |
Как установить и запустить
Установка сводится к одной команде. Для Linux и macOS используется скрипт-инсталлятор, для Windows — PowerShell-скрипт.
Linux / macOS (автоматическая установка):
curl -fsSL https://install.osmantic.com/ods.sh | bash
Windows (PowerShell):
Set-ExecutionPolicy -Scope Process -ExecutionPolicy Bypass
git clone https://github.com/Osmantic/ODS.git
cd ODS
.\install.ps1
После установки откройте http://localhost:3000. Если нужны кастомные порты, их можно задать через переменные окружения, например: WEBUI_PORT=9090 ./install.sh.
Почему это важно
ODS снижает порог входа для локального ИИ с уровня «инженер по DevOps» до уровня «пользователь ПК». Это критично для тех, кто ценит приватность данных, не хочет зависеть от подписок OpenAI/Anthropic или хочет строить собственные AI-агенты без риска утечки промптов в облако. Релиз v2.5.3 прошел строгую валидацию (Release Validation), гарантирующую стабильность установки и восстановления после сбоев.
Источник: Github ↗
