Интеграция Transcribefile и поддержка 16+ моделей
Команда Mozilla AI представила релиз Llamafile 0.10.4, который знаменует собой важное расширение функционала платформы. Ключевым нововведением стала интеграция Transcribefile — компонента, построенного на базе недавно анонсированной библиотеки Transcribe.cpp. Если Llama.cpp стала стандартом для локального запуска LLM, то Transcribe.cpp призвана стать аналогом для задач распознавания речи (Speech-to-Text) и синтеза речи (Text-to-Speech).
Новая версия позволяет упаковывать модели в единый исполняемый файл, который работает кроссплатформенно. Поддерживается работа с 16+ моделями синтеза и распознавания речи, что значительно расширяет сценарии использования для локальных AI-ассистентов и аудиообработки без отправки данных в облако.
Техническая основа: GGML и ускорение через GPU
Transcribe.cpp, лежащая в основе Transcribefile, построена на базе фреймворка GGML. Это обеспечивает высокую эффективность вычислений на различных архитектурах. Библиотека поддерживает аппаратное ускорение через популярные графические API:
- Vulkan — для кроссплатформенной поддержки GPU;
- NVIDIA CUDA — для видеокарт NVIDIA;
- Apple Metal — для оптимизации на устройствах Apple Silicon.
Обновления Llama.cpp и безопасность
Помимо аудио-возможностей, Llamafile 0.10.4 синхронизирован с актуальной веткой Llama.cpp. В релиз включены следующие технические улучшения:
- Улучшена работа с Vulkan API и обработкой ускорения AMD ROCm;
- Добавлена поддержка загрузки файлов по протоколу HTTPS;
- Реализована поддержка песочницы pledge/SECCOMP, что повышает безопасность выполнения автономных файлов на Unix-подобных системах.
Почему это важно
Выпуск Llamafile 0.10.4 закрывает важный пробел в экосистеме локального AI. До этого пользователи могли легко запускать текстовые модели, но работа с аудио требовала сложных сборок. Теперь же, благодаря концепции «single-file», энтузиасты и разработчики могут развернуть полноценный аудио-стек (распознавание и синтез) на любом устройстве с минимальными усилиями, сохраняя приватность данных за счет локального выполнения.
Источник: Phoronix ↗