raullenchai/Rapid-MLX

Улучшена стабильность загрузок, ускорен LFM2 MoE, добавлены три новые модели и исправлено голосовое вводе.

• Added: Добавлены модели Nanbeige4.3-33B, Spark-X2.6-4B и Sage-A1.5.
• Added: Загрузки через зеркало стали надежнее, включая модели в подпапках.
• Added: Ускорена генерация LFM2 MoE за счет слияния маршрутизации на 11–17%.
• Fixed: Голосовой ввод теперь захватывает звук без задержек.
• Fixed: Исправлено кэширование диалогов и улучшена работа с инструментами.

Улучшена отзывчивость интерфейса, кэширование длинных промптов и безопасность подключений; добавлена поддержка LTX-2.5 и Nemotron 3.5.

• Fixed: Ускорено повторное выполнение длинных промптов за счёт оптимизации гибридного кэша.
• Added: Добавлен экспериментальный видеорuntime LTX-2.5 и поддержка Nemotron 3.5 Bolt E4B.
• Fixed: Улучшена стабильность чата Gemma и корректность обработки системных инструкций.
• Added: Оптимизирован выбор модели в интерфейсе Desktop для предотвращения лишних перерисовок.
• Breaking: Включена строгая проверка целостности зависимостей и явное согласие на сетевые подключения.

Добавлена поддержка модели Flint, улучшена параллельная обработка коротких запросов MTP и снижены накладные расходы DeepSeek V4.1.

• Added: Добавлена поддержка модели Flint (INT4 checkpoint) с автоматической настройкой tool calls и reasoning.
• Added: Одновременные короткие чаты MTP теперь декодируются параллельно, что значительно увеличивает пропускную способность.
• Added: В десктопной версии статус загрузки модели отображается прямо в чат-компоузере.
• Fixed: Снижены накладные расходы проверки специкуляции для DeepSeek V4.1 за счёт fused attention.
• Added: Серверы теперь проверяют наличие обновлений каждые 24 часа без необходимости перезапуска.

Ускорение DeepSeek V4.1 до 1.9x, автообновления Desktop и исправление зависимостей Python.

• Added: DeepSeek V4.1 GPTQ v2 декодирует до 1.9x быстрее за счёт оптимизаций ядра и смешанной точности MoE.
• Added: Desktop автоматически проверяет обновления каждые 6 часов и при возврате в приложение без перезапуска.
• Fixed: Команды восстановления зависимостей теперь корректно применяются к среде Python, запущенной Rapid-MLX.
• Added: Добавлен настраиваемый параметр глубины черновика (draft depth) с режимом auto для оптимизации под нагрузку.

Релиз Rapid-MLX v0.16.6: поддержка Qwen-Image-2.1 и Turbo, оптимизация DeepSeek V4.1 Flash, исправление concurrent-запросов и стабильность подключений агентов.

• Added: Qwen-Image теперь обслуживает модель Qwen-Image-2.1; добавлен ускоренный алиас qwen-image-2.1-turbo.
• Added: DeepSeek V4.1 Flash 1017: новые веса GPTQ для большей точности и ускорение декодирования в 1.5 раза.
• Fixed: Исправлены сбои при одновременных запросах на генерацию изображений (HTTP 500).
• Added: Включена опциональная пакетная обработка (batched decode) для конкурентных запросов в DeepSeek V4.1.
• Fixed: Подключения coding-агентов теперь сохраняются между перезапусками, исправлена настройка Claude Desktop.

Добавлена экспериментальная модель DeepSeek V4.1 Flash, улучшена стабильность стриминга и сохранение прерванных ответов.

• Added: Добавлена экспериментальная сборка DeepSeek V4.1 Flash 1017 с смешанной точностью для Mac с памятью от 224 ГБ.
• Fixed: Исправлен стриминг: разметка вызова инструментов теперь корректно обрабатывается при разбиении токенами.
• Fixed: Прерванные ответы в десктоп-чатах больше не исчезают, а сохраняются с возможностью повтора.
• Fixed: Улучшена аутентификация: проверка ключа API выполняется до чтения загрузок изображений и видео.
• Added: Русский интерфейс адаптирован: заголовки и идентичность ассистента теперь учитывают язык первого сообщения.

Релиз v0.16.3: улучшена стабильность при нехватке памяти, исправлены ошибки загрузки моделей и работы с инструментами, обновлен Local Search.

• Fixed: Сервер теперь восстанавливается после ошибок OOM без перезапуска, а длинные запросы обрабатываются группами для предотвращения нехватки памяти.
• Fixed: Исправлена безопасная загрузка моделей: поврежденные чекпоинты теперь корректно отклоняются с понятным сообщением об ошибке.
• Fixed: Улучшена обработка вызовов инструментов: исправлено утечка разметки при обрезке ответов и добавлены понятные уведомления о недоступных инструментах.
• Added: Добавлена экспериментальная опция оптимизированного локального поиска: показываются ближайшие файлы при отсутствии точных совпадений, а индексация обновляется автоматически.
• Fixed: Исправлены краши Desktop при использовании Quick Look, открытии заметок о релизе и работе с logprobs в режиме MTP speculative decoding.

Добавлена поддержка NVIDIA Nemotron 3.5 и Ternary Bonsai 2, экспериментальный локальный поиск и улучшена работа с очередями.

• Added: Добавлена поддержка текстовых моделей NVIDIA Nemotron 3.5 Bolt 74B-A9B и Super VL 120B-A12B с автоматическим выбором конфигураций.
• Added: Появился экспериментальный локальный поиск по файлам и изображениям с поддержкой семантического поиска и ключевых слов.
• Added: Добавлены новые модели Ternary Bonsai 2 (2B, 4B, 9B) в 2-битном формате для Mac с небольшим объемом памяти.
• Fixed: Улучшена стабильность и отзывчивость одновременного обслуживания текстовых запросов, исправлены ошибки HTTP 503.
• Fixed: Оптимизировано переиспользование кэша сессий и улучшено ранжирование результатов локального поиска.

Добавлены мультимодальные рантаймы, локальные решения и ускоренные профили, улучшена стабильность сервера и управления загрузками.

• Added: В базовый пакет включены рантаймы для работы с изображениями и видео.
• Added: Добавлены локальные модели для структурированных ответов и ранжирования.
• Added: Появились экспериментальные профили TensorFold для Bonsai 2, Gemma 4 и DeepSeek V4 Flash.
• Fixed: Улучшена надежность потоковой передачи и кэширования префиксов.
• Added: Пользователи получили контроль над автоматической загрузкой моделей.

Добавлены нативные эмбеддинги EmbeddingGemma 2, улучшена стабильность агентов и десктопа, устарел qwopus-27b-8bit.

• Added: Появилась поддержка нативных текстовых и кодовых эмбеддингов EmbeddingGemma 2 через API /v1/embeddings.
• Added: Добавлены расширенные настройки сервера: отключение дискового кэша, вывод логов в файл и метрики времени генерации.
• Added: В каталог моделей добавлена поддержка LTX-2.5 для видео-задач и ускоренных профилей Nemotron 3.5 и Qwen3.8 Flash Next.
• Fixed: Исправлена настройка агентов Continue и Cline, а также устранена утечка секретов в предпросмотрах Qwen Code.
• Deprecated: Модель qwopus-27b-8bit признана устаревшей из-за недоступности репозитория; рекомендуется использовать 4-битную версию.

В Rapid-MLX 0.15.6 добавлен интерактивный CLI, по умолчанию отключено сжатие промптов и улучшена работа с BYOM и памятью.

• Added: Запуск rapid-mlx без аргументов открывает интерактивный интерфейс с подсказками и группировкой команд.
• Fixed: Сжатие промптов PFlash теперь отключено по умолчанию; при включении в метаданных ответа показываются объёмы данных.
• Added: Конфигурации для агентов (Codex, OpenCode, Claude, Pi) генерируются готовыми к использованию с учётом настроек пользователя.
• Fixed: Улучшена стабильность загрузки пользовательских моделей (BYOM): ограничены внешние проверки, учтён уровень логов и изолированы данные телеметрии.
• Fixed: Оптимизировано управление памятью: состояние KV освобождается быстрее, а сервер точнее оценивает доступные ресурсы Metal.

Rapid-MLX 0.15.5: фоновый ввод для Computer Use, оптимизация MTP, улучшенный импорт моделей и стабильность сервера.

• Added: Computer Use: фоновый ввод в целевое окно без вывода на передний план (экспериментально).
• Added: Быстрый импорт моделей: ранняя проверка совместимости, предложение альтернатив и безопасная квантизация.
• Added: Оптимизация MTP: одна синхронизация хоста на цикл принятия черновика вместо каждого токена.
• Fixed: Улучшена диагностика ошибок старта сервера и поддержка текстового режима для VLM без зависимостей.
• Fixed: Исправления локальных кодинговых агентов: префиксный кэш, JSON-аргументы и headless-профили.

Добавлены экспериментальные ускорения для Qwen3.8 27B и GLM-5.3 Flash, Share Compute в Desktop и оптимизация высокой конкурентности.

• Added: Экспериментальное ускорение Qwen3.8 27B через профиль qwen3.8-27b-tensorfold с поддержкой DFlash2.
• Added: Экспериментальное ускорение GLM-5.3 Flash на Mac с 256 ГБ ОЗУ с использованием встроенного MTP-заголовка.
• Added: Новая экспериментальная функция Share Compute в Desktop для совместного использования вычислений.
• Added: Оптимизация матричных умножений для высокой конкурентности (8+ запросов) в плотных 4-битных моделях.
• Fixed: Исправлено сохранение пробелов в коде и границ рассуждений при потоковой и непотоковой генерации GLM.

Добавлен экспериментальный Computer Use с API, оптимизация Qwen Image 2.1 и улучшена стабильность запуска.

• Added: Экспериментальный Computer Use для локальных задач macOS с ручным подтверждением действий.
• Added: Документированный API /v1/cua для создания собственных клиентов управления компьютером.
• Added: Запуск Qwen Image 2.1 на Mac с меньшим объемом свободной памяти.
• Fixed: Пропуск пустых страниц PDF при импорте для ускорения обработки.
• Fixed: Улучшена первая настройка и восстановление после ошибок запуска.

Упрощено подключение агентов, добавлена поддержка новых моделей, улучшена обработка ошибок и автовыбор портов.

• Added: Добавлена поддержка моделей Laya, CLM System One и LFM2.5-VL с DSpark.
• Added: GLM-5.3 Flash подключен к пулу QuickSilver, Qwen4 поддерживает PLE rows.
• Fixed: Автовыбор свободного порта при конфликте 8000 и сохранение диагностик сбоев.
• Added: Упрощено подключение агентов и добавлена установка недостающих опциональных зависимостей.

Улучшена диагностика ошибок запуска, добавлена точная телеметрия и исправлена работа с моделями Cohere2-MoE и Qwen4.

• Added: При отсутствии опциональных зависимостей (vision, audio и др.) выводятся точные команды для установки и понятные причины сбоев.
• Added: Добавлена анонимная телеметрия событий запуска сервера (server_start_state) для отслеживания стадий готовности.
• Fixed: Баннер готовности сервера теперь выводится только после успешного привязки порта, что упрощает автоматизацию.
• Fixed: Исправлена нормализация чекпоинтов Qwen4 (RMSNorm) и соответствие RoPE/норм для модели Cohere2-MoE.
• Added: Все сервисные каналы (изображения, видео, аудио, эмбеддинги) теперь единообразно сообщают об успешной загрузке модели.

Релиз Rapid-MLX 0.15.0: добавлена поддержка Qwen-Image 2.1 и Xiaomi MiMo-V2.6, улучшена телеметрия и снижено потребление CPU.

• Added: Добавлена поддержка генерации и редактирования изображений через Qwen-Image 2.1.
• Added: В экспериментальном режиме доступна модель MoE Xiaomi MiMo-V2.6 Flash для систем с памятью от 192 ГБ.
• Added: Реализована опциональная работа Gemma 4 с ассистентским сайдкар-модулем для ускорения декодирования.
• Fixed: Существенно снижено потребление CPU в режиме простоя и улучшена обработка ошибок в интерфейсе.
• Added: Внедрена новая система телеметрии с прозрачными локальными настройками и возможностью отключения.

Ускорение мультимодальных диалогов, локальные задачи Personal Intelligence, полный Community Benchmark и поддержка Bonsai 2.

• Added: Мультимодальные диалоги стали значительно быстрее за счёт кэширования медиа-префиксов и оптимизации генерации.
• Added: Personal Intelligence теперь умеет искать, читать, писать файлы и запускать ограниченные команды в безопасном песочнице.
• Added: Community Benchmark получил полноценный интерфейс с живыми метриками, ETA и поддержкой DeepSeek V4.1.
• Added: Добавлена нативная поддержка пакетов Bonsai 2 Hadamard MLX с собственным загрузчиком.
• Fixed: GLM-5.3 Flash теперь работает с длинным контекстом без ошибок Metal OOM благодаря чанковой префилляции.
• Fixed: Исправлены зависания при остановке serve, проблемы с DNS и бесконечное ожидание в Personal Intelligence.

Улучшена работа с PDF, исправлено зависание мультимодального чата и усилены проверки MTP; DeepSeek V4.1 признан слишком медленным.

• Added: Поддержка анализа больших PDF, сканов и смешанных документов с ограниченным кэшем и таймаутами.
• Fixed: Исправлено зависание мультимодального чата при зацикливании токенов до исчерпания ресурсов Metal.
• Added: Усилены проверки корректности декодирования MTP для предотвращения скрытых ошибок распределения.
• Экспериментальный чекпоинт DeepSeek V4.1 Flash REAP 2-bit признан слишком медленным для каталога.

Ускорение Qwen3, локальная генерация видео в Desktop, приватный бенчмарк и улучшение управления памятью.

• Added: По умолчанию ускорены модели Qwen3.5/3.6/3.8 за счет автоматического выбора MTP и непрерывного планировщика.
• Added: В Desktop добавлена экспериментальная генерация видео с поддержкой LTX 2.5, Wan 2.1 и CogVideoX-Fun.
• Added: Community Benchmark теперь работает локально по умолчанию с явным согласием на отправку данных.
• Fixed: Улучшено управление памятью: точные рекомендации по запуску и корректная обработка ошибок кэширования.
• Added: Добавлены экспериментальные оптимизации для Qwen3.8 Flash-Next и DFlash2.

Добавлена поддержка GLM-5.3-Flash, ускорена работа гибридных моделей и улучшена стабильность Desktop-клиента.

• Added: Добавлена поддержка модели GLM-5.3-Flash в CLI, сервере и Desktop.
• Added: Оптимизирована работа гибридных мультимодальных моделей за счет переиспользования текстовых префиксов.
• Added: В Desktop добавлена палитра команд, система обратной связи и улучшен стриминг Markdown.
• Fixed: Завершенные видео-задачи теперь сохраняются после перезапуска сервера.
• Fixed: Улучшена надежность установки Desktop-версии и восстановления движка после сбоев.