В мире искусственного интеллекта, где доминируют большие языковые модели (LLM), способные генерировать бесконечные потоки текста, появляется новый игрок, предлагающий принципиально иной подход. Команда vLLM Semantic Router представила модель d3-ultra — 27-миллиардную мультимодальную модель принятия решений, работающую под лицензией Apache-2.0. Это не просто еще одна LLM. d3-ultra не генерирует текст. Вместо этого она читает входные данные один раз и возвращает вероятности для каждого ответа на каждый вопрос. Для разработчиков это означает возможность маршрутизации, классификации, визуального обоснования и проверки видео через один вызов открытой модели.
Почему это важно? Потому что в реальных сценариях использования AI, таких как автоматизация бизнес-процессов, анализ документов или управление агентами, часто требуется не «сочинение» ответа, а точное, быстрое и надежное решение. d3-ultra позиционируется как система, которая отвечает на типизированные вопросы вероятностями, становясь новейшим членом семейства Decision 3.0, которое охватывает модели от 0.6B до 27B параметров. В этой статье мы подробно разберем архитектуру, производительность, способы развертывания и практическое применение этой инновационной технологии.
01Что такое d3-ultra и как она работает?
В основе d3-ultra лежит концепция «state once» (состояние один раз). Это ключевая архитектурная особенность, которая отличает ее от традиционных LLM. Когда вы отправляете состояние (текст или JSON, а также изображения или видео) и набор вопросов, модель читает входные данные только один раз за запрос. После этого она отвечает на все вопросы, основываясь на этом едином прочтении. Это радикально снижает задержку и вычислительные затраты по сравнению с подходами, где каждый вопрос требует отдельного прохода через модель.
Архитектура d3-ultra базируется на Qwen3.5 с 64 слоями. Из них 48 слоев используют линейное внимание (linear-attention), а 16 — полное внимание (full-attention). Примечательно, что в карточке модели не указано точное имя базового чекпоинта, однако рецепт vLLM указывает, что ее родственная модель d3 была обучена на базе Qwen3.8-27B. Это говорит о том, что d3-ultra наследует сильные стороны современных архитектур, оптимизированных для эффективности.
Модель поддерживает контекст до 131,072 токенов на вопрос. Важно отметить, что если вопросы превышают этот лимит, система вернет ошибку max_length_exceeded, а не будет молча обрезать данные. Это критически важно для надежности в промышленных приложениях, где потеря информации может привести к фатальным ошибкам в логике.
02Производительность: Сравнение с конкурентами
Команда исследователей провела сравнительный анализ d3-ultra с такими моделями, как GLiDE V1.2, d1-ultra, d3-turbo, d3 и Jev 1.14. Тестирование проводилось на двух внутренних наборах данных: SR-Text и SR-Box. Важно понимать, что все бенчмарки являются самоотчетными и основаны на частных наборах данных, что требует осторожности при интерпретации результатов, но они все же дают четкое представление о возможностях модели.
Тест SR-Text: Текстовые задачи
Набор данных SR-Text содержит 10,411 текстовых запросов с 73,495 вопросами. Большинство из них воссоздают навыки из 34 публичных бенчмарков с новыми элементами. Еще 4,896 вопросов происходят из 43 новых семейств задач, таких как проверки SQL и маршрутизация тикетов. Оценки скорректированы по шансу: 0 означает случайный выбор, 100 — идеальное выполнение.
Результаты d3-ultra в этом тесте оказались наивысшими среди всех протестированных моделей:
- d3-ultra: 87.2
- GLiDE V1.2: 85.1
- d1-ultra: 83.4
- d3-turbo: 83.1
- d3: 81.4
- Jev 1.14: 73.1
d3-ultra лидирует во всех областях, кроме искусства и человеческого вкуса. В этой категории d1-ultra показывает результат 90.8 против 89.6 у d3-ultra, что находится в пределах погрешности. Это говорит о том, что d3-ultra является универсальным лидером в текстовых задачах принятия решений.
Тест SR-Box: Визуальное обоснование
Набор данных SR-Box содержит 5,678 вопросов типа Box на 4,984 изображениях, охватывающих 10 доменов. Коробка считается правильной при IoU (Intersection over Union) 0.5 или выше. Здесь результаты более сбалансированы:
- d3-ultra: 58.2% (10 доменов), 54.6% (9 доменов)
- d3-turbo: 60.0% (10 доменов), 59.6% (9 доменов)
- Jev 1.14: 45.7% (10 доменов), 46.9% (9 доменов)
Команда отмечает, что d3-turbo остается сильнее на естественных изображениях, в то время как d3-ultra лидирует на графиках и диаграммах. Это важное различие: если ваша задача связана с анализом финансовых отчетов или технических схем, d3-ultra может быть предпочтительнее. Если же речь идет о распознавании объектов на фотографиях из интернета, d3-turbo может показать лучшие результаты.
Задержка (Latency)
Тестирование проводилось на одном GPU AMD Instinct MI325X с использованием AutoModel. Один вопрос о фотографии занимает 304 мс. 255 вопросов о том же фото занимают 2.16 секунды, что составляет около 7.3 мс на каждый дополнительный вопрос. Это демонстрирует высокую эффективность модели при обработке множественных запросов к одному контексту.
03Как развернуть d3-ultra?
vLLM Semantic Router предлагает четыре основных пути развертывания d3-ultra, что делает ее доступной для различных сценариев использования — от локальных экспериментов до промышленного продакшена.
1. Transformers
Вы можете загрузить модель напрямую через библиотеку Hugging Face Transformers. Для этого требуется версия transformers==5.17.0. Опциональный пакет flash-linear-attention добавляет быстрые ядра GPU, что может значительно ускорить инференс.
AutoModel.from_pretrained("vllm-sr/d3-ultra", trust_remote_code=True)2. vLLM Semantic Router Engine
Для тех, кто предпочитает использовать специализированный движок, доступна команда vllm-sr serve. Эта функция была добавлена в PR #5449 25 октября 2026 года. Это оптимальный выбор для высоконагруженных приложений, требующих масштабируемости.
vllm-sr serve -e vllm-sr/d3-ultra3. Бесплатный API
Карточка модели указывает, что decision.vllm-sr.ai обслуживает d3-ultra, предоставляя бесплатный ключ API. Это отличный способ начать работу без необходимости настраивать собственную инфраструктуру.
4. Демонстрация
Официальная демонстрация доступна на Hugging Face Space. Это удобный способ протестировать модель в браузере, загрузив изображения или текст и задав вопросы.
04Сравнительная таблица: d3-ultra против конкурентов
Чтобы лучше понять место d3-ultra на рынке, рассмотрим сводную таблицу характеристик с другими моделями принятия решений.
| Функция | d3-ultra | d3-turbo | GLiDE V1.2 | d1-ultra | Jev 1.14 |
|---|---|---|---|---|---|
| Разработчик | vLLM Semantic Router | vLLM Semantic Router | Fastino Labs | Liquid AI | TypeSafe |
| Параметры | 26.09B | 26.09B | 26B | Не раскрыто | Не раскрыто |
| Контекст на вопрос | 131,072 | 32,768 (по умолч.); 131,072 с long_context | 40,000 (по умолч.) | 32,768 | 262,144 |
| Веса / Лицензия | Открытые, Apache-2.0 | Открытые, Apache-2.0 | Открытые, Fastino Community License | Только хостинг | Только хостинг, проприетарные |
| Входы | Текст, JSON, изображения, видео | Текст, JSON, изображения, видео | Текст, JSON, изображения | Текст, изображения | Текст, изображения |
| Box / Track | Box + Track | Box + Track | Нет | Нет | Только Box |
| SR-Text (самоотчет vLLM-SR) | 87.2 | 83.1 | 85.1 | 83.4 | 73.1 |
| SR-Box, 10 доменов | 58.2% | 60.0% | Не поддерживается | Не поддерживается | 45.7% |
| Публичный индекс | Подано, еще не в таблице | 70.2 Jev DI (собственная оценка) | 71.5 Decision Index 0.4.1 | 65 AA Decision Index | 57 AA Decision Index |
| Цена | Бесплатный API, самохостинг | Бесплатный API, самохостинг | $0.04 / M вход | $0.042 / M вход | $0.042 / M вход |
Как видно из таблицы, d3-ultra выделяется открытой лицензией Apache-2.0, что позволяет свободно использовать ее в коммерческих продуктах без ограничений. Также она поддерживает видео и отслеживание (Track), чего нет у GLiDE V1.2 и d1-ultra. Jev 1.14 предлагает больший контекст (262,144 токенов), но уступает в других метриках и не имеет открытого кода.
05Практическое применение: Где использовать d3-ultra?
Учитывая особенности d3-ultra, можно выделить несколько ключевых сценариев использования, где эта модель покажет себя лучше традиционных LLM.
1. Автоматизация обработки документов
Представьте, что вам нужно проанализировать 100-страничный PDF-документ. Вместо того чтобы отправлять каждый вопрос к LLM отдельно, вы загружаете документ один раз в d3-ultra и задаете 50 вопросов: «Какова общая сумма расходов?», «Есть ли в тексте упоминание о штрафе?», «Какой год указан в заголовке?». Модель прочитает документ один раз и вернет вероятности для всех 50 вопросов за доли секунды. Это экономит время и деньги на API-вызовы.
2. Визуальный контроль качества
На производственной линии камеры фиксируют изделия. d3-ultra может принимать изображение и отвечать на вопросы: «Есть ли царапина?», «Правильно ли расположен логотип?», «Какой цвет у детали?». Благодаря поддержке типа Box, модель может не только сказать «да/нет», но и указать координаты дефекта, что критически важно для систем автоматического отбраковывания.
3. Маршрутизация тикетов и классификация
В службе поддержки можно использовать d3-ultra для мгновенной классификации входящих обращений. Загрузив текст жалобы и задав вопросы типа «Это техническая проблема?», «Это вопрос по billing?», «Требуется ли срочный ответ?», система получит вероятности и автоматически направит тикет нужному отделу. Высокий балл в SR-Text (87.2) гарантирует высокую точность такой маршрутизации.
4. Анализ видео
Благодаря поддержке типа Track, d3-ultra может отслеживать объекты в видео. Например, в системе безопасности можно задать вопрос: «Следует ли человек в красной куртке за автомобилем?». Модель проанализирует весь видеопоток и вернет ответ с вероятностью, что позволит быстро реагировать на подозрительные действия.
06Что это значит на практике
Появление d3-ultra знаменует собой сдвиг в сторону специализированных моделей для принятия решений. Вместо того чтобы использовать тяжеловесные LLM для простых задач классификации или локализации, разработчики могут использовать d3-ultra, которая быстрее, дешевле и точнее в этих конкретных задачах. Открытая лицензия Apache-2.0 и возможность локального развертывания делают ее доступной для компаний, обеспокоенных конфиденциальностью данных. Поддержка мультимодальности (текст, изображения, видео) и длинного контекста (131K токенов) расширяет границы применимости. Хотя d3-ultra уступает d3-turbo в некоторых аспектах визуального обоснования на естественных изображениях, ее превосходство в текстовых задачах и на графиках делает ее мощным инструментом для анализа данных. Для разработчиков, работающих с AI-агентами, d3-ultra становится новым стандартом для модулей маршрутизации и классификации, позволяя создавать более эффективные и надежные системы.
07Заключение
d3-ultra от vLLM Semantic Router — это значительный шаг вперед в области мультимодальных моделей принятия решений. Ее архитектура, основанная на принципе «state once», обеспечивает высокую скорость и эффективность, а открытая лицензия способствует широкому внедрению. Хотя модель все еще находится на ранних этапах развития (нет официальных квантованных версий, бенчмарки самоотчетные), ее потенциал огромен. Разработчикам стоит обратить внимание на эту модель, особенно если их задачи связаны с анализом документов, визуальным поиском или маршрутизацией. Следующие шаги включают появление квантованных версий для более широкого аппаратного обеспечения и независимое подтверждение результатов бенчмарков. В любом случае, d3-ultra уже сейчас является мощным инструментом в арсенале AI-разработчика.
Для тех, кто хочет глубже погрузиться в тему, рекомендуется изучить карточку модели, репозиторий GitHub, коллекцию Decision 3.0 и Hugging Face Space. Также не забудьте подписаться на обновления в Twitter и присоединиться к сообществу ML на Reddit.
Источник: MarkTechPost ↗