Osmantic/ODS

Превратите свой ПК, Mac или Linux-машину в AI-сервер. LLM inference, чат-интерфейс, голос, агенты, рабочие процессы, RAG и генерация изображений.

Инструменты⭐ 6 622Pythonпоследний релиз: v2.6.0
Открыть на GitHub ↗Сайт проекта ↗

Что это за инструмент

ODS (Osmantic Deployment System) — это локальный AI-сервер, который одной командой устанавливает и настраивает полный стек для работы с ИИ на вашем компьютере (PC, Mac, Linux).

Зачем нужен

Инструмент решает проблему сложной ручной сборки и настройки разрозненных AI-инструментов, таких как Ollama, Open WebUI, n8n и ComfyUI. Он полезен тем, кто хочет получить готовую приватную AI-платформу с единой панелью управления, не тратя время на конфигурацию сервисов и зависимостей.

Что можно реализовать

  • Запуск локального чат-интерфейса (ChatGPT-style) для работы с открытыми LLM-моделями без отправки данных в облако.
  • Создание голосовых ассистентов и агентов, способных слушать, говорить и вызывать внешние инструменты (tools).
  • Построение рабочих процессов (workflows) и автоматизаций с использованием n8n и RAG для работы с локальными документами.
  • Генерация изображений локально через ComfyUI без использования платных хостинговых API.
  • Использование облачных API (OpenAI/Anthropic) как резервного варианта при отсутствии мощного GPU.

Ключевые возможности

  • Единая установка и интеграция ключевых компонентов: Ollama, Open WebUI, n8n, ComfyUI и инструментов приватности.
  • Централизованная панель управления (Control dashboard) для мониторинга GPU, управления моделями и расширениями.
  • Поддержка RAG, голосовых интерфейсов, агентов и генерации изображений в рамках одного стека.
  • Полная локальность данных (privacy-first) с опциональной возможностью использования облачных API.
  • Простая установка через скрипт (bash/powershell) с автоматическим подбором модели под железо.

👤 Кому подойдёт: энтузиасты домашних серверов (homelab), разработчики, исследователи и пользователи, ценящие приватность данных и желающие развернуть локальную AI-инфраструктуру без сложной ручной настройки.

Релизы

v2.6.0minor
🕐 1 мес назад · релиз на GitHub ↗

ODS 2.6.0: поддержка удалённых провайдеров, переключение моделей, восстановление GPU, исправления для Linux/Windows и усиление безопасности.

  • Added: Добавлена поддержка удалённых провайдеров с прямым доступом, SSH-туннелями и управлением моделями.
  • Added: Внедрён Model Switchboard для стабильной маршрутизации и проверки передачи контекста.
  • Added: Реализовано переназначение GPU NVIDIA и AMD/ROCm с возможностью отката изменений.
  • Fixed: Исправлено восстановление прав доступа к bind-mount в Docker без root для Linux.
  • Fixed: Улучшена работа метрик llama-server и обработка устаревших PID на Windows.
  • Added: Усилено противодействие DNS-rebinding и SSRF через привязку адресов с сохранением TLS.