WebAssembly-биндинг для llama.cpp - обеспечение работы LLM-инференса прямо в браузере
wllama — это WebAssembly-обертка для llama.cpp, позволяющая запускать большие языковые модели (LLM) прямо в браузере пользователя без необходимости использовать серверную часть.
Инструмент решает задачу локального инференса LLM на стороне клиента (client-side), что обеспечивает полную конфиденциальность данных и снижает нагрузку на серверы. Он полезен для создания автономных веб-приложений, где модели работают на устройствах пользователей, поддерживая как CPU, так и WebGPU.
👤 Кому подойдёт: Frontend-разработчики, создающие автономные веб-приложения; разработчики, заинтересованные в снижении серверных затрат за счет клиентского инференса; исследователи, тестирующие LLM в браузере.
Добавлена поддержка decision-моделей через API, совместимый с SystemOne, и реализована функция автосинхронизации.
Синхронизация с актуальной версией llama.cpp и удаление предварительно собранных WASM-файлов из репозитория.
Синхронизация с актуальным кодом llama.cpp, исправление скачанных файлов и поддержка параллельных запросов.
Синхронизация с llama.cpp v3.5.0, рефакторинг кэширования и исправление CDN-сборки.