Michael-A-Kuykendall/shimmy

Что это за инструмент

Shimmy — это легковесный сервер для локального запуска LLM на базе WebGPU, написанный на чистом Rust без зависимостей Python или C++. Он предоставляет полностью совместимый с OpenAI API интерфейс для работы с GGUF-моделями.

Зачем нужен

Инструмент позволяет запускать локальные LLM-серверы с минимальными системными требованиями, заменяя тяжелые решения вроде llama.cpp. Он полезен для разработчиков, которым нужен быстрый, безопасный и простой способ интеграции локальных моделей в существующие приложения, использующие OpenAI SDK.

Что можно реализовать

• Запуск LLM на слабых GPU (от 2.5 GB VRAM) благодаря сжатию KV-кэша TurboShimmy INT4
• Интеграция локальных моделей в приложения, использующие стандартные OpenAI SDK и инструменты
• Развертывание AI-сервисов в контейнерах (Docker) или системах без Python/C++ toolchain
• Работа с длинным контекстом (YaRN RoPE scaling) на ограниченном оборудовании

Ключевые возможности

• Чистый Rust и WebGPU (WGSL): отсутствие зависимостей от C++, Python или внешних бинарников
• Полная совместимость с OpenAI API: готовые клиенты и инструменты работают без изменений
• TurboShimmy INT4 KV: снижение потребления VRAM KV-кэша в ~7 раз без потери качества
• Автодетект метаданных из GGUF: не требует ручного указания параметров модели
• Единый бинарный файл: простое скачивание и запуск без сложной сборки

👤 Кому подойдёт: разработчики, DevOps-инженеры, энтузиасты локальных LLM, использующие Linux/Windows/macOS и желающие минимизировать зависимости проекта