mudler/LocalAI

LocalAI 4.12.0: редизайн UI, потоковый голос, нативная маршрутизация решений, апскейл изображений и интеграция GEM-X.

• Added: Полностью переработан веб-интерфейс с единой навигацией, темами и улучшенным управлением моделями.
• Added: Добавлен потоковый вывод голоса через Qwen TTS и поддержка пакетов Parakeet для анализа аудио.
• Added: Внедрена нативная маршрутизация решений через новый адаптер /v1/decisions для классификации запросов.
• Added: Появилась функция апскейла изображений в Studio и API для загрузки кадров захвата движений GEM-X.
• Added: Добавлена поддержка персистентных хранилищ Qdrant с TLS и оптимизации инференса (MoE кэш, lazy mode).

LocalAI 4.11.0: аудио-сцены с распознаванием спикеров, цепочки отказоустойчивости моделей, новые decision-модели и анимация Kimodo.

• Added: Аудио-сцены: объединение ASR, дайаризации и детекции звуков в одной модели с поддержкой запоминания спикеров по именам.
• Added: Цепочки отказоустойчивости (failover): автоматический перебор локальных и удалённых целей при сбоях с отслеживанием здоровья.
• Added: Decision-модели: новая конечная точка /v1/systemone для структурированных решений и ответов на вопросы с валидацией.
• Added: Kimodo text-to-animation: генерация скелетной анимации из текста с экспортом в glTF через Studio.
• Added: Подписанные OCI-галереи: распространение моделей с проверкой через Sigstore и кэшированием по дайджесту.
• Fixed: Исправления безопасности: ограничение путей, строгая проверка учётных данных и корректная обработка ошибок до стриминга.

LocalAI 4.10.0: дашборд флота, единый файл учётных данных, CLI-бенчмарк, фиксы CVE и M5.

• Added: Панель управления флотом с мониторингом здоровья, ёмкости и массовыми действиями над нодами.
• Added: Единый файл credentials.yaml для аутентификации OCI, галерей и загрузок без переменных окружения.
• Added: Команда local-ai benchmark для измерения задержек и пропускной способности моделей через CLI.
• Added: Поддержка переменных окружения в конфиге модели и контекстного окна в /v1/models/capabilities.
• Fixed: Исправлены 4 уязвимости (CVE), стабильность CUDA, распределённого режима и Apple M5.

LocalAI 4.9.0: защита по умолчанию, сжатие контекста, видео MiniMax-H3, TTS Qwen3 и KNN-роутер.

• Breaking: Аутентификация включена по умолчанию для всех HTTP-маршрутов, кроме явно разрешенных публичных.
• Added: В чате появилась опциональная компрессия контекста с сохранением системных промптов и вызовов инструментов.
• Added: vllm-cpp теперь поддерживает генерацию видео MiniMax-H3 с синхронизацией губ и аудио-дорожкой AAC.
• Added: Добавлен KNN как первый классный роутер для маршрутизации на основе семантического сходства.
• Added: Qwen3-TTS запущен на llama.cpp с полной поддержкой акселераторов (CUDA, ROCm, Metal и др.).

LocalAI 4.8.0: новый движок vllm.cpp, 3D-генерация, аудио-бэкенд и оптимизация распределённого режима.

• Added: vllm.cpp (alpha): C++20-движок без Python, совместимый с vLLM, поддерживающий CUDA, Metal и Vulkan.
• Added: 3D-генерация: новый режим работы с GLB-моделями через бэкенд trellis2cpp и встроенный просмотрщик.
• Added: audio.cpp: единый бэкенд для распознавания речи, транскрипции, VAD, диаризации и генерации звука.
• Added: VRAM-бюджеты: возможность ограничивать использование видеопамяти на уровне узла в процентах или ГБ.
• Fixed: Улучшена стабильность распределённого режима: исправлены утечки счётчиков и удаление активных процессов.

Релиз LocalAI 4.6.0: исправлена работа AMD ROCm, добавлен форк чатов, улучшена стабильность распределенных вычислений и мониторинг PII.

• Fixed: Исправлена работа AMD ROCm: аудио-бэкенды теперь корректно используют GPU, а данные hipBLASLt оптимизируют производительность.
• Added: Встроенный чат-интерфейс поддерживает форкинг: можно ветвить диалог, дублировать или копировать любые сообщения.
• Added: Добавлен API для загрузки моделей в память и предзапуск конвейера (VAD, ASR, LLM, TTS) для устранения задержек в реальном времени.
• Fixed: Устранена блокировка распределенных вычислений при падении воркеров и добавлена автоматическая очистка памяти.
• Added: Добавлен Prometheus-счетчик для аудита событий PII и исправлена уязвимость SSRF в галерее моделей.