vLLM Semantic Router представили Decision 3.0 — семейство мультимодальных моделей принятия решений. В отличие от обычных LLM, они не генерируют текст, а возвращают вероятности (probabilities) для заданных вопросов. Это идеальный инструмент для агентов: классификация, роутинг и guardrails без парсинга сырого вывода.
Семейство включает 5 моделей от 0.8B до 27B параметров, лицензированных под Apache-2.0. Все они умеют обрабатывать текст, JSON и изображения (PNG, JPEG, WebP до 1.6 Мп). Базовые модели: Qwen3.8-27B для флагмана и Qwen3.5 чекпоинты для меньших версий.
01Архитектура и установка
Каждая модель содержит визуальный энкодер (от 0.1B до 0.46B). Запрос обрабатывается через отдельные forward-проходы для каждого вопроса. Для работы требуется transformers==5.17.0 и флаг trust_remote_code=True. Опциональный пакет flash-linear-attention ускоряет линейные слои внимания.
Пример загрузки модели d3-flash:
from transformers import AutoModelForDecision
model = AutoModelForDecision.from_pretrained(
"vllm/decision-3-flash",
trust_remote_code=True
)
# Опционально: установить flash-linear-attention для ускорения02Производительность и бенчмарки
Оценка проводилась на внутреннем наборе данных Jev Decision Index v0.3.1. Флагман d3 (27B) лидирует в своих таблицах, но ключевой инсайт — эффективность средних моделей. d3-flash (9B) набирает 59.0, превосходя предыдущее поколение Decision 2.0 (27B) с результатом 55.9.
| Модель | Параметры | Text Index | Vision Index | Задержка (текст) |
|---|---|---|---|---|
| d3-lite | 0.85B | — | 41.1 | 23.5 ms |
| d3-nano | 2.21B | — | — | 21.7 ms |
| d3-mini | 4.54B | — | — | 28.5 ms |
| d3-flash | 8.39B | 59.0 | — | 29.7 ms |
| d3 | 26.09B | 64.1 | 71.6 | 84 ms |
Примечание: Задержка измерена на одном GPU AMD Instinct MI325X. Данные по задержкам для других моделей в сравнении отсутствуют или не стандартизированы.
03Сравнение с конкурентами
Decision 3.0 конкурирует с Perplexity Decider v1.1, Decision 2.0 Vega-27B и LiquidAI d1-3B. Главные преимущества d3 — поддержка изображений и более высокая точность на мультимодальных задачах (InfographicVQA, Mind2Web).
| Фича | vLLM d3 (27B) | Perplexity Decider v1.1 | LiquidAI d1-3B |
|---|---|---|---|
| Входные данные | Текст, JSON, Изображения | Текст, Изображения | Текст, JSON, Изображения |
| Контекст | Не раскрыто | 8,192 токенов | 32,768 токенов |
| License | Apache-2.0 | Apache-2.0 | LFM 1.0 |
| Decision Index | 64.1 (internal) | 62.8 | 48.57 |
04Кому подойдёт / что запустится
- Для роутинга агентов: d3-flash (9B) — оптимальный баланс скорости (30 мс) и точности. Идеально для NVIDIA A100/H100 или AMD MI300X.
- Для edge-устройств: d3-lite (0.8B) и d3-nano (2B) могут работать на мобильных GPU или встраиваемых системах, но точность на изображениях ниже конкурентов.
- Для сложных документов: d3 (27B) с поддержкой зрения лучше всего подходит для извлечения данных из сканов и инфографики.
- Доступность в РФ: Модели доступны на Hugging Face. Загрузка возможна через стандартные инструменты. Аренда GPU в российских облаках (Yandex Cloud, SberCloud) для d3-flash обойдется дешевле, чем в AWS, благодаря локальным инстансам AMD/NVIDIA.
Все модели доступны в коллекции Hugging Face vLLM. Рекомендуется тестировать на своих данных, так как внутренние бенчмарки могут отличаться от реальных нагрузок.
Источник: MarkTechPost ↗