Distribute and run LLMs with a single file.
llamafile — это инструмент от Mozilla, позволяющий упаковывать большие языковые модели (LLM) и модели распознавания речи (Whisper) в один самодостаточный исполняемый файл.
Инструмент решает проблему сложной настройки окружения для локального запуска LLM, устраняя необходимость в установке зависимостей или драйверов. Он объединяет llama.cpp и Cosmopolitan Libc, обеспечивая кроссплатформенную работу (macOS, Linux, Windows, BSD) на разных архитектурах CPU/GPU.
👤 Кому подойдёт: разработчики, исследователи, пользователи, желающие запускать LLM локально без сложной настройки инфраструктуры
Обновление llama.cpp до b10444, включение поддержки Vulkan и графов CUDA/HIP, исправления сборки и безопасности ZIP.
Обновление llama.cpp до b10103, поддержка новых моделей и улучшение документации по GPU и CLI.
Исправлен критический сбой при ошибке инициализации GPU с восстановлением работы на CPU, обновлены скрипты сборки.