Единый эндпоинт для трех задач
IBM Granite Switch 4.1 (модели 8B и 30B) решает проблему фрагментации AI-стека. Вместо запуска отдельных сервисов для распознавания речи, генерации текста и проверки безопасности, теперь все три функции работают через один хостинг-эндпоинт. В модель интегрированы:
- Decision aLoRA (v1/systemone) — для общих задач принятия решений.
- Guardian aLoRA — модуль безопасности, превосходящий Jev 1.13, Microsoft-Decision-1 и GPT-Luna-Decisions в задачах фильтрации вредоносного контента.
- Granite-Speech-5.0-Turbo-CTC — самая быстрая модель распознавания речи (ASR) на лидерборде OpenASR, встроенная для транскрипции.
Экономия ресурсов и скорость
Ключевое преимущество архитектуры — использование Activated LoRAs. Это позволяет переиспользовать KV-cache от базовой модели для любых последующих решений, что снижает накладные расходы. Модель занимает примерно тот же объем VRAM, что и базовая LLM сама по себе, но добавляет функционал. Благодаря оптимизациям в vLLM, переключение между режимами (чат, решение, речь) происходит с высокой скоростью.
Сравнение производительности
IBM приводит конкретные метрики эффективности своих специализированных адаптеров по сравнению с закрытыми аналогами. Ниже приведены результаты сравнения в задачах классификации и скорости принятия решений:
| Метрика / Задача | Granite Switch 4.1 (30B + 4 aLoRA) | Конкуренты / Альтернативы |
|---|---|---|
| Безопасность (Guardian) | Превосходит в среднем | Jev 1.13, Microsoft-Decision-1, GPT-Luna-Decisions, Clef-Flash |
| Скорость в игре Doom (3B модель) | 60–100 решений/сек | Jev: ~10 решений/сек |
| 5-шаговый RAG-воркфлоу | Быстрее | Jev-27B (Qwen base + 1 generic LoRA) |
Гибкость для разработчиков
Модели поставляются с предустановленными адаптерами, но IBM поощряет создание кастомных решений. Разработчики могут комбинировать адаптеры из Granite Libraries для специфических задач классификации. В ближайшее время IBM планирует выпустить Adapter SDK для обучения адаптеров в среде Mellea, что позволит, например, обучать 3B-модели играть в игры или выполнять узкоспециализированные языковые задачи без дообучения всей нейросети.
Источник: Hugging Face blog ↗