alichherawalla/off-grid-mobile-ai

Швейцарский нож для офлайн-ИИ: чат, зрение, голос и генерация изображений на телефоне или Mac — GGUF LLMs, vision, Whisper speech-to-text, Stable Diffusion, tool calling и локальные серверы. Работает на CPU, GPU или NPU. Без аккаунта, без API-ключа, ноль данных покидает устройство.

Инструменты⭐ 3 335TypeScriptпоследний релиз: v0.0.122

Открыть на GitHub ↗Сайт проекта ↗

Что это за инструмент

Off Grid AI — это офлайн-приложение для iOS, Android и macOS, объединяющее LLM, генерацию изображений, распознавание речи и зрения на одном устройстве без отправки данных в облако.

Зачем нужен

Инструмент решает задачу безопасного использования ИИ без зависимости от интернет-соединения и сторонних API-ключей. Он полезен для тех, кто хочет запускать модели GGUF, Stable Diffusion и Whisper локально на CPU, GPU или NPU, сохраняя полную приватность данных.

Что можно реализовать

Локальный чат с LLM (Qwen, Llama, Gemma) с ускорением через GPU/NPU
Генерация изображений на устройстве с использованием Stable Diffusion
Распознавание речи (Whisper) и синтез голоса (Kokoro) в Pro-версии
Анализ документов через локальную базу знаний (RAG на MiniLM)
Вызов инструментов (tool calling) для работы с календарем, почтой и MCP-серверами

Ключевые возможности

Полная автономность: ноль данных покидает устройство, нет аккаунтов
Поддержка аппаратного ускорения: OpenCL (Adreno), Metal (Apple Silicon), Hexagon NPU
Мультимодальность: текст, изображения, голос и компьютерное зрение в одном приложении
Интеграция с локальными серверами: поддержка Ollama, LM Studio, LocalAI по сети
Pro-версия добавляет голосовые ответы, кастомные персоны и синхронизацию между Mac и телефоном

👤 Кому подойдёт: разработчики, специалисты по безопасности данных, пользователи, ценящие приватность, и энтузиасты локального ИИ

Релизы

v0.0.122minor

🕐 вчера · релиз на GitHub ↗

Обновление UI стилей, улучшение работы LiteRT с контекстом и исправления ошибок.

Added: Значительное обновление интерфейса: переработан редактор стилей, улучшена компоновка чата и настроек.
Added: Улучшена работа LiteRT: добавлены тесты на лимиты памяти, корректная компактизация контекста и обработка ошибок загрузки.
Fixed: Исправлено поведение стилей при создании новых чатов и повторных ответах.
Fixed: Исправлены визуальные элементы: тени, кнопки и отображение бейджей в настройках.

v0.0.119patch

🕐 3 дн назад · релиз на GitHub ↗

Исправлена работа CI-пайплайнов: UAT-тесты теперь корректно проходят TestFlight, а релиз Play загружает только AAB.

Fixed: Исправлен сбой в CI: скрипт uat.sh больше не прерывает сборку, позволяя UAT-пайплайну корректно проходить внешние группы TestFlight.
Fixed: Устранена помеха при публикации в Play Store: загрузка релизного AAB теперь не блокируется наличием APK в GitHub-релизе.

v0.0.118minor

🕐 13 дн назад · релиз на GitHub ↗

Релиз v0.0.118: оптимизация загрузки моделей, новые бейджи MoE/MTP, улучшенный поиск и поддержка новых каталогов.

Added: Добавлены бейджи MoE и MTP на карточках моделей с описанием влияния на скорость.
Added: Расширен каталог: добавлены создатели iFLYTEK, Shanghai AI Lab, Recursive и модели Nemotron Bolt, Sage.
Fixed: Улучшена логика загрузки сплит-моделей: единый прогресс-бар, проверка целостности частей и корректное удаление.
Added: Оптимизирован расчет памяти для iPhone: взвешенные данные больше не вычитаются из свободной памяти при загрузке.
Fixed: Исправлен интерфейс: фиксированная строка поиска в чатах и проектах, улучшена доступность (Screen Reader).

v0.0.117patch

🕐 14 дн назад · релиз на GitHub ↗

Исправлены критические краши на Android и iPhone, улучшена стабильность работы с моделями и диктовкой, оптимизирована загрузка GPU.

Fixed: Устранены краши приложения при запуске на старых Android-устройствах и ошибки прокрутки списков.
Fixed: Исправлена работа диктовки: теперь микрофон корректно перезапускается после лимита в 30 секунд, а предыдущий текст не стирается.
Fixed: При переключении между приложениями модель продолжает работать, а не требует повторной загрузки.
Fixed: На iPhone добавлено понятное сообщение об ошибке при генерации изображений из-за нехватки места, вместо закрытия приложения.
Ускорена загрузка GPU-моделей на движке LiteRT и улучшена стабильность переключения между CPU и GPU.

v0.0.111patch

🕐 1 мес назад · релиз на GitHub ↗

Исправления багов интерфейса и чата, обновление LiteRT до 0.17.1, новые настройки изображений по умолчанию.

Fixed: Исправлены проблемы с прокруткой списка моделей, видимостью чата при загрузке и активацией лицензии.
Fixed: Оптимизирована загрузка текстовых моделей и работа mesh-сервиса.
Added: Обновлен Android LiteRT runtime до версии 0.17.1.
Added: Настройки изображений по умолчанию изменены на 512x512, удалена подсказка о малых размерах.

v0.0.110minor

🕐 1 мес назад · релиз на GitHub ↗

Обновление карточек моделей, улучшенная настройка GGUF, стабильность загрузок и исправления в чате.

Added: В карточках моделей отображаются возможности GGUF для упрощения выбора.
Added: Настройки теперь показывают список установленных моделей и предлагают автоматическую настройку.
Added: На Android при первом запуске доступны три варианта стиля изображений.
Fixed: Улучшена обработка восстановленных загрузок, памяти и лимитов контекста для GGUF.
Fixed: Исправлены повторные попытки загрузок при сбоях и синхронизация портов на десктопе.

v0.0.107patch

🕐 2 мес назад · релиз на GitHub ↗

Исправление: удалено устаревшее сообщение о функции из экрана Pro.

Fixed: Удалено устаревшее сообщение с экрана Pro, которое информировало о уже выпущенной функции.

v0.0.103major

🕐 3 мес назад · релиз на GitHub ↗

Релиз v0.0.103: полный контроль над памятью, стабильность загрузки, исправления голоса и генерации.

Added: Добавлены режимы загрузки моделей: Lean, Balanced и Aggressive, позволяющие управлять потреблением памяти.
Added: В менеджере моделей отображается использование RAM, добавлены кнопки выгрузки и настройки STT/TTS.
Fixed: Исправлено прерывание загрузки: прерванные и упавшие загрузки теперь можно перезапустить, они сохраняются после перезапуска.
Fixed: Улучшена работа с голосом: транскрипция, отправка заметок текстом, корректная остановка речи и индикаторы загрузки.
Fixed: Исправлено прерывание генерации: остановка ответа теперь сохраняет написанное и не ломает чат.