Intel LLM-Scaler-vLLM 1.5: Скачок до vLLM 0.26 и поддержка F

Intel LLM-Scaler-vLLM 1.5: Скачок до vLLM 0.26 и поддержка FP8 на Arc

Intel выпустила LLM-Scaler-vLLM PV 1.5, обновив стек до vLLM 0.26 и PyTorch 2.12. Теперь поддерживаются квантование FP8, INT4 и новые модели Qwen/Gemma для видеокарт Arc.

AIРедакция AIKraftавто-обзор источников

2 мин чтения·источник: Phoronix

Значительный скачок версий и интеграция с Project Battlematrix

Инженеры Intel представили версию 1.5 контейнеризованного стека LLM-Scaler-vLLM, разработанного в рамках инициативы Project Battlematrix. Это решение предназначено для упрощения развертывания больших языковых моделей (LLM) на оборудовании Intel Arc. Ключевое изменение — форсированный переход ядра vLLM с версии 0.14 до 0.26, что значительно сближает проприетарный стек с актуальным upstream-состоянием (на момент выхода статьи актуальная версия vLLM — 0.31). Параллельно фреймворк PyTorch обновлен с версии 2.10 до 2.12.

Расширение поддержки моделей и новых форматов данных

Обновление существенно расширяет матрицу совместимых моделей. Теперь в стеке официально поддерживаются новые архитектуры Qwen и Gemma, а также внедрена поддержка онлайн-квантования FP8 и симметричного INT4. Особое внимание уделено оптимизации кэширования ключей и значений (KV cache) в формате FP8, что критично для эффективного использования видеопамяти.

Компонент / Модель	Предыдущая версия / Статус	Новая версия / Поддержка (v1.5)
vLLM (ядро)	0.14	0.26
PyTorch	2.10	2.12
Qwen (семейство)	Базовая поддержка	Qwen3.6-27B, Qwen3.8-27B, Qwen3.6-35B-A3B
Gemma (семейство)	Ограниченная	gemma-4-26B-A4B-it, gemma-4-31B-it
Квантование	Стандартное	Онлайн FP8, симметричный INT4, FP8 KV cache

Производительность: Time-to-First-Token и LoRA

Intel отмечает измеримый прирост скорости отклика. Улучшено время до первого токена (Time-to-First-Token) для моделей Qwen и Gemma 4, что напрямую влияет на восприятие скорости чат-ботов пользователями. Также оптимизирована работа с MTP (Multi-Token Prediction) декодированием и обслуживание LoRA-адаптеров, что позволяет быстрее переключаться между специализированными промптами без полной перезагрузки модели.

Значение для экосистемы Intel Arc

Выпуск LLM-Scaler-vLLM 1.5 является стратегическим шагом перед анонсом новой серии графических процессоров Intel GPU D Series (Crescent Island). Обновление демонстрирует готовность программного обеспечения Intel к работе с современными архитектурными требованиями ИИ. Для энтузиастов и разработчиков, использующих видеокарты Intel Arc, это означает возможность запускать более сложные модели с меньшими затратами VRAM благодаря эффективному управлению FP8-кэшем.

Источник: Phoronix ↗