Команда vLLM Semantic Router выпустила Decision 3.0 — семейство мультимодальных моделей принятия решений. В отличие от традиционных LLM, которые генерируют текст, эти модели возвращают калиброванные вероятности для заданных вопросов (Choice, Yes/No, Score). Это реализует паттерн «системы 1» для маршрутизаторов и guardrails: разработчики получают готовые скоры для пороговой обработки без необходимости парсить сгенерированный текст.
Архитектура и возможности
Модели представляют собой дообученные версии базовых моделей Qwen. Флагманская версия d3 (26.09B) построена на Qwen3.8-27B, а меньшие модели — на чекпоинтах Qwen3.5. Все модели оснащены визуальным энкодером и способны обрабатывать несколько изображений (PNG, JPEG, WebP) с разрешением до 1.6 мегапикселей за один запрос. Для работы требуется библиотека transformers==5.17.0 и опциональный пакет flash-linear-attention для ускорения линейных слоев внимания.
Производительность и бенчмарки
На внутреннем индексе Jev Decision Index 0.3.1 флагман d3 показывает лучшие результаты среди открытых аналогов, опережая Perplexity Decider v1.1 и Jev. Однако ключевым достижением является эффективность малых моделей: версия d3-flash (9B) превосходит предыдущее поколение Decision 2.0 (27B) как в текстовых, так и в визуальных задачах.
| Модель | Параметры | Базовая модель | Индекс решений (текст) | Индекс решений (визуал) | Лицензия |
|---|---|---|---|---|---|
| d3 (27B) | 26.09B | Qwen3.8-27B | 64.1 | 71.6 | Apache-2.0 |
| d3-flash (9B) | 8.39B | Qwen3.5-9B | 59.0 | Лидер в своей категории | Apache-2.0 |
| Perplexity Decider v1.1 | 26B | Qwen3.8-27B | 62.8 | 70.6 | Apache-2.0 |
| Decision 2.0 Vega-27B | 29.37B | Qwen3.8-27B | 55.9 | Не раскрыто | Apache-2.0 |
Скорость работы
Замеры задержки (latency) проводились на одном GPU AMD Instinct MI325X при обработке одного запроса. Малые модели демонстрируют сверхнизкую задержку, что критично для реального времени:
- d3-nano (2.21B): 21.7 мс (текст), 92.0 мс (с изображением).
- d3-lite (0.85B): 23.5 мс (текст), 60.7 мс (с изображением).
- d3 (26.09B): 84 мс (текст), 342 мс (с изображением).
Почему это важно
Выход Decision 3.0 закрывает разрыв между легковесными классификаторами и тяжелыми LLM. Возможность использовать модель размером 9B, которая превосходит 27-миллиардные предшественники, позволяет значительно снизить стоимость инференса при сохранении качества маршрутизации. Все модели доступны на Hugging Face под лицензией Apache-2.0, что делает их идеальными для коммерческого внедрения в агentic AI системы.
Бенчмарки
| Бенчмарк | d3 | Decision 2.0 (27B) | Jev | Perplexity Decider v1.1 | Torchcast Decision 27B | d3-flash (9B) |
|---|---|---|---|---|---|---|
| Jev Decision Index (Text) | 64.1score | — | 60.1score | 62.8score | 65.1score | — |
| Jev Decision Index (Vision) | 71.6score | — | — | 70.6score | — | — |
| Jev Decision Index (Text, 9B vs 27B) | — | 55.9score | — | — | — | 59score |
Жирным — лучший результат в строке. Источник цифр — официальная публикация.
Источник: MarkTechPost ↗