alichherawalla/off-grid-mobile-ai

Что это за инструмент

Off Grid AI — это офлайн-приложение для iOS, Android и macOS, объединяющее LLM, генерацию изображений, распознавание речи и зрения на одном устройстве без отправки данных в облако.

Зачем нужен

Инструмент решает задачу безопасного использования ИИ без зависимости от интернет-соединения и сторонних API-ключей. Он полезен для тех, кто хочет запускать модели GGUF, Stable Diffusion и Whisper локально на CPU, GPU или NPU, сохраняя полную приватность данных.

Что можно реализовать

• Локальный чат с LLM (Qwen, Llama, Gemma) с ускорением через GPU/NPU
• Генерация изображений на устройстве с использованием Stable Diffusion
• Распознавание речи (Whisper) и синтез голоса (Kokoro) в Pro-версии
• Анализ документов через локальную базу знаний (RAG на MiniLM)
• Вызов инструментов (tool calling) для работы с календарем, почтой и MCP-серверами

Ключевые возможности

• Полная автономность: ноль данных покидает устройство, нет аккаунтов
• Поддержка аппаратного ускорения: OpenCL (Adreno), Metal (Apple Silicon), Hexagon NPU
• Мультимодальность: текст, изображения, голос и компьютерное зрение в одном приложении
• Интеграция с локальными серверами: поддержка Ollama, LM Studio, LocalAI по сети
• Pro-версия добавляет голосовые ответы, кастомные персоны и синхронизацию между Mac и телефоном

👤 Кому подойдёт: разработчики, специалисты по безопасности данных, пользователи, ценящие приватность, и энтузиасты локального ИИ