v2.2.2minor
В релизе v2.2.2 добавлена поддержка относительного позиционного внимания (relative position attention) через ядро и биндинги.
- Added: Добавлено ядро и биндинги для относительного позиционного внимания (relative position attention).
cactus-compute/cactus
Движок ИИ с низкой задержкой для мобильных устройств и носимых устройств
Инференс⭐ 14 495C++последний релиз: v4.0.1
Что это за инструмент
Cactus — гибридный движок для запуска ИИ-моделей (текст, речь, зрение) непосредственно на мобильных устройствах и носимой электронике.
Зачем нужен
Инструмент решает проблему высокой задержки и потребления памяти при локальном инференсе на ARM-устройствах, обеспечивая скорость, сопоставимую с облачными решениями, при минимальном использовании RAM. Он полезен разработчикам, которым нужно внедрить ИИ в приложения для iOS, Android или Raspberry Pi без потери производительности.
Что можно реализовать
- Локальный чат-бот с поддержкой инструментов (tool calling) и RAG на смартфоне
- Распознавание речи (transcription) и обработка изображений (VLM) на устройстве
- Гибридные сценарии: локальная обработка с автоматическим переключением на облако при низкой уверенности модели
- Встраивание кастомных PyTorch-моделей в приложения для мобильных платформ
Ключевые возможности
- Zero-copy memory mapping для использования в 10 раз меньше RAM по сравнению с аналогами
- Квантование Cactus Quants (4-bit), сохраняющее точность уровня FP16
- Мультиформатность: единый движок для LLM, VLM и моделей распознавания речи
- Оптимизированные ARM SIMD-ядра (NEON) для Apple, Samsung, Pixel и других платформ
- OpenAI-compatible API для интеграции с существующими фреймворками
👤 Кому подойдёт: Мобильные разработчики (iOS/Android), инженеры по машинному обучению, внедряющие модели на edge-устройствах, разработчики встраиваемых систем (Raspberry Pi, wearables)
Релизы
v2.2.1patch
Выпуск v2.2.1 расширяет бакеты Parakeet, улучшая распределение ресурсов без ломающих изменений.
- Added: Расширены бакеты Parakeet для оптимизации вычислений.
v2.2.0minor
В Cactus v2.2.0 появился собственный транспайлер, исправлены утечки и нормализация в Parakeet, оптимизирована работа с mmap.
- Added: Добавлен пользовательский транспайлер для гибкой кастомизации.
- Fixed: Исправлена утечка данных в padded-кадрах и нормализация признаков в энкодере Parakeet.
- Fixed: Устранено дублирование общих файлов весов mmap в графах компонентов.
v2.1.0minor
Релиз Cactus 2.1.0: добавлена поддержка инструментов, оптимизация ядер внимания, новый транспайлер и исправления сборки.
- Added: Добавлена поддержка вызова инструментов (tool calling) в среде выполнения.
- Added: Внедрен пользовательский транспайлер и поддержка wider CQ.
- Added: Оптимизированы ядра внимания (attention) и GEMV.
- Added: Добавлена поддержка Needle и группировка аудиоэнкодера Parakeet.
- Fixed: Исправлена ошибка сборки libstdc++/Pi и корректность перематричного CQ4 в Metal.
v2.0.1patchbreaking
Выпуск v2.0.1: устранение проблем с установкой через Homebrew и удаление поддержки CoreML.
- Fixed: Исправлены ошибки в работе Homebrew (pull #755, #758).
- Breaking: Удалена поддержка CoreML (pull #754).
v1.14minor
Релиз v1.14: поддержка живого микрофона, масштабные улучшения и оптимизации для модели Gemma4.
- Added: В сборку для чата добавлена поддержка записи звука с микрофона в реальном времени через SDL2.
- Added: Для модели gemma4 по умолчанию отключен режим «мышления» и введена одновременная работа с несколькими модальностями.
- Fixed: Исправлены ошибки конвертации gemma4, CLI, вызова инструментов и коррекция RoPE.
- Fixed: Оптимизирована память для работы с изображениями в gemma4 и увеличен размер скользящего окна.
- Added: Улучшены промпты для совместной обработки зрения и аудио, добавлена поддержка уверенности ответов для VLM.
v4.0.1patch
Вышла версия v4.0.1.
v4.0.0patch
Вышла версия v4.0.0.
v3.3.0patch
Вышла версия v3.3.0.