Intel-Scaler-vLLM 0.21.0-b1: поддержка XPU Graph и новых моделей Gemma 4

Обновление стека vLLM для Intel Arc

Компания Intel представила новую версию своего Docker-решения Intel-Scaler-vLLM (версия 0.21.0-b1). Этот инструмент предназначен для оптимизации работы фреймворка vLLM на графических процессорах Intel Arc и Intel Pro. Ключевым изменением в данном релизе стала пересборка (rebase) на основе актуальной версии vLLM 0.21, что обеспечивает совместимость с последними улучшениями основного проекта.

Экспериментальная поддержка XPU Graph

Значительным техническим нововведением стала добавленная экспериментальная поддержка XPU Graph. Эта функция интегрируется в программный стек Intel, что может потенциально повысить эффективность выполнения вычислений и оптимизировать использование ресурсов GPU при запуске больших языковых моделей (LLM). На данный момент эта возможность находится в стадии экспериментальной проверки.

Расширение списка поддерживаемых моделей

Основная часть изменений в релизе 0.21.0-b1 касается расширения списка моделей, которые теперь официально поддерживаются на оборудовании Intel. Разработчики добавили поддержку нескольких архитектур из семейства Gemma 4 и DiffusionGemma. Это позволяет пользователям запускать более разнообразные и сложные модели непосредственно на видеокартах Intel без необходимости использования сторонних обходных путей.

Где найти и как использовать

Релиз доступен для скачивания через Docker Hub, что упрощает развертывание среды для разработчиков и энтузиастов. Для получения исходного кода и детальной технической документации рекомендуется обращаться к репозиторию проекта на GitHub. Обновление позиционируется как стабильный шаг в развитии экосистемы ИИ на базе железа Intel, делая запуск современных моделей более доступным.

Источник: Phoronix ↗