Суть обновления: Qwen3.8-27B-Uncensored
Лаборатория OrcaRouter представила новую ветку моделей семейства Qwen3.8-27B, получившую маркировку Uncensored. Ключевое изменение заключается в удалении механизмов отказа (refusals), которые обычно блокируют ответы на спорные, этически сложные или технические запросы. Это делает модель более полезной для задач, требующих полного соблюдения инструкций без фильтрации контента.
Технические форматы и оптимизация
Для обеспечения совместимости с различным аппаратным обеспечением, особенно с локальными устройствами, модель представлена в нескольких ключевых форматах:
- MLX: Оптимизировано для чипов Apple Silicon (M1/M2/M3), позволяя запускать 27-миллиардную модель непосредственно на Mac с использованием эффективного фреймворка MLX.
- GGUF: Универсальный формат для кроссплатформенного локального запуска (через LM Studio, Ollama и др.) с поддержкой квантования.
- FP8: Формат с пониженной точностью для ускорения инференса на совместимых GPU (NVIDIA).
- Full Precision: Полная точность для максимального качества генерации.
Сравнение форматов
| Формат | Целевое железо | Ключевое преимущество |
|---|---|---|
| MLX | Apple Silicon (Mac) | Эффективное использование Unified Memory |
| GGUF | квантованныйCPU / GPU (любой) | Широкая совместимость и низкое потребление RAM |
| FP8 | NVIDIA GPU (Ampere+) | Баланс скорости и точности |
Почему это важно
Запуск 27-миллиардной модели локально на Mac становится всё более реалистичным благодаря оптимизации MLX. Отсутствие цензурных фильтров открывает новые возможности для разработчиков и исследователей, работающих с данными, требующими нейтрального или прямого ответа без морализаторства. Обновление доступно на Huggingface примерно 15 часов назад, что указывает на высокую актуальность и свежесть релиза.
Источник: Huggingface ↗