Суть инновации: один проход — множество ответов
d3-ultra — это «Decision Model» из семейства Decision 3.0. В отличие от классических LLM, она не пишет текст. Модель один раз считывает входные данные (текст, JSON, изображения или видео) и возвращает вероятности для каждого из заданных вопросов. Это позволяет разработчикам выполнять маршрутизацию, классификацию, визуальное привязывание (grounding) и проверку видео через один API-вызов.
Архитектура построена на базе Qwen3.5 с 64 слоями (48 слоев линейного внимания и 16 слоев полного внимания). Модель поддерживает контекст до 131,072 токенов на вопрос. При превышении лимита возвращается ошибка max_length_exceeded, а не происходит тихое усечение.
Типы вопросов и возможности
Модель обрабатывает пять типов задач:
- Choice: Выбор одного варианта из нескольких.
- Yes / No: Вероятность ответа «Да».
- Score: Оценка по шкале.
- Box: Локализация объекта на изображении или в видео (возвращает 1 бокс с уверенностью).
- Track: Отслеживание цели через весь видеоряд.
Результаты бенчмарков: лидерство в тексте, отставание в визуале
Команда vLLM провела внутренние тесты на двух наборах данных: SR-Text (10,411 запросов, 73,495 вопросов) и SR-Box (5,678 вопросов по изображениям). d3-ultra показала лучший результат в текстовой маршрутизации, но уступила своему же предшественнику d3-turbo в задачах визуального поиска.
| Модель | Параметры | SR-Text (точность) | SR-Box (10 доменов, IoU 0.5) | Контекст (токены) |
|---|---|---|---|---|
| d3-ultra | 26.09B | 87.2 | 58.2% | 131,072 |
| d3-turbo | 26.09B | 83.1 | 60.0% | 32,768 (до 131k) |
| GLiDE V1.2 | 26B | 85.1 | Не поддерживается | 40,000 |
| d1-ultra | Не раскрыто | 83.4 | Не поддерживается | 32,768 |
| Jev 1.14 | Не раскрыто | 73.1 | 45.7% | 262,144 |
Производительность и запуск
На одном GPU AMD Instinct MI325X (BF16) обработка 255 вопросов к одному изображению занимает 2.16 секунды (в среднем 7.3 мс на дополнительный вопрос). Первый вопрос занимает 304 мс.
Модель доступна бесплатно через API на decision.vllm-sr.ai и может быть развернута локально через vLLM Semantic Router Engine или библиотеку Transformers (требуется версия 5.17.0+). Лицензия — Apache-2.0, что делает её открытой для коммерческого использования.
Бенчмарки
| Бенчмарк | d3-ultra | GLiDE V1.2 | Jev 1.14 | d1-ultra | d3-turbo |
|---|---|---|---|---|---|
| SR-Text | 87.2% | 85.1% | — | 83.4% | 83.1% |
| SR-Box | 58.2% | — | 45.7% | — | 60% |
Жирным — лучший результат в строке. Источник цифр — официальная публикация.
Источник: MarkTechPost ↗