Технология «стриминга» экспертов
Основная проблема запуска больших языковых моделей (LLM) на устройствах с ограниченной памятью — необходимость держать всю модель в RAM. TurboFieldfare решает это через архитектуру Mixture of Experts (MoE). Модель Gemma 4 26B-A4B имеет 26 млрд параметров, но активными в каждый момент времени являются лишь ~3.88 млрд. Движок хранит в оперативной памяти только общее ядро (1.35 ГБ) и KV-кэш, а необходимые «эксперты» подгружаются с SSD в реальном времени. Это позволяет запускать модель на устройствах с 8 ГБ ОЗУ, используя всего около 2 ГБ под веса и кэш.
Производительность и железо
Решение написано на Swift с использованием Metal GPU, что обеспечивает нативную интеграцию с Apple Silicon. Бенчмарки показывают значительный разрыв в скорости в зависимости от поколения чипа, но даже на базовых моделях результат usable:
| Железо | Скорость (tok/s) | ОЗУ | Примечание |
|---|---|---|---|
| M2 MacBook Air | 5.1 - 6.3 | 8 GB | Базовый сценарий, стабильный вывод |
| M5 Pro | 31 - 35 | 24 GB | Высокая пропускная способность |
Для сравнения, стандартные решения часто требуют 14+ ГБ свободной памяти для загрузки весов, что делает их невозможными на 8-гигабайтных макбуках без агрессивного свопинга на диск.
Технические детали и требования
TurboFieldfare не является оберткой над MLX или llama.cpp, а представляет собой специализированный рантайм. Установка модели занимает около 14.3 ГБ на SSD, но процесс установки оптимизирован: данные стримятся с Hugging Face и переупаковываются напрямую в формат .gturbo, не создавая временных полных копий чекпоинтов в памяти.
- Платформа: macOS 26 (или новее), Metal 4, Swift 6.2+.
- Архитектура: Только arm64 (Apple Silicon).
- Функционал: Поддержка инструкций, чат-форматирование, CLI и нативное Mac-приложение. Текстовый режим (без изображений и tool calling).
- Параметры генерации: По умолчанию temperature 0.2, Top-K 64, Top-P 0.95.
Как запустить
Для использования требуется клонирование репозитория и сборка через Swift Package Manager. После сборки запускается приложение TurboFieldfareMac, которое предлагает установить модель (Install), загрузить её (Load Model) и начать генерацию. Для продвинутых пользователей доступен CLI с поддержкой JSON-массивов для сообщений и тонкой настройки параметров вывода.
Источник: Github ↗