Суть проекта: домашний LLM-кластер из подручных средств
Разработчик slopmaster1884 представил проект Argus — систему, которая превращает домашний компьютер и подключенные смартфоны в единую вычислительную среду для запуска больших языковых моделей (LLM). Главная проблема локальных нейросетей — нехватка видеопамяти (VRAM) — решается за счет распределения слоев модели между GPU, CPU и оперативной памятью телефонов.
Система работает полностью офлайн, не требует root-прав на Android и использует стек на базе Tauri (Rust + React), llama.cpp (версия b12008) и whisper.cpp. Пользователь просто пишет в чат, а Argus сам определяет оптимальное распределение вычислений, измеряя скорость и доступную память каждого устройства.
Технические детали и архитектура
Argus динамически распределяет слои нейросети. Если модель помещается в видеокарту, телефоны не задействуются для максимальной скорости. В противном случае нагрузка делится. Поддерживаются соединения по USB (через ADB) и Wi-Fi. В версии 0.3.4 добавлена поддержка USB-модема, что позволяет обойти задержки ADB и напрямую использовать сеть телефона, что значительно повышает пропускную способность.
Система учитывает температуру устройств: перегретый телефон получает меньше задач, чтобы избежать троттлинга. Также реализован режим MoE (Mixture of Experts), где «эксперты» модели могут храниться на телефонах, а за один токен активна только малая часть параметров.
Производительность и бенчмарки
Ключевое преимущество Argus — возможность запускать модели, которые не влезают в VRAM даже топовых карт, используя RAM телефонов. Однако скорость генерации зависит от канала связи. Ниже приведены данные по оптимизации скорости:
| Конфигурация / Режим | Модель | Результат (токенов/сек) | Примечание |
|---|---|---|---|
| USB (ADB) + GTX 960 + Телефоны | Gemma 2 2B | ~16 t/s | Базовая скорость через отладочный интерфейс |
| USB-модем (прямая сеть) + GTX 960 + Телефоны | Gemma 2 2B | ~36 t/s | Ускорение в 2.25 раза за счет обхода ADB |
| Рекомендуемый формат для телефонов | Qwen3 4B/8B | Зависит от CPU телефона | Формат Q4_0 работает быстрее на мобильных чипах |
Функционал и совместимость
Argus совместим с API OpenAI, что позволяет подключать его к интерфейсам Open WebUI, Jan, Continue и Hermes. Поддерживаются следующие сценарии использования:
- Чат и код: Полноценный интерфейс с поддержкой нескольких диалогов, вставкой файлов и изображений.
- Голосовой ввод: Использование микрофона телефона для распознавания речи через whisper.cpp.
- Офлайн-библиотека: Запуск Kiwix-serve на старом телефоне для доступа к Википедии без интернета.
- Telegram-бот: Доступ к локальной модели через мессенджер.
- Агент: Возможность управления ПК с подтверждением действий пользователем.
Требования к железу и безопасность
Проект позиционируется как решение для слабых ПК (тестировалось на GTX 960 с 4 ГБ VRAM). Для работы требуется Android-смартфон с включенной отладкой по USB. Root-права не нужны.
Разработчик предупреждает о рисках безопасности: в режиме Wi-Fi порт 50052 доступен всем устройствам в локальной сети. Рекомендуется использовать Argus только в домашней сети, не пробрасывать порты в интернет и использовать PIN-код для веб-интерфейса. Обновления устанавливаются только с явного согласия пользователя, файлы проверяются по хешу SHA-256.
Источник: Github ↗
