vLLM использует трюк 1960-х для ускорения LLM в 4 раза

Проблема: «Золотой номер» в GPU-памяти

Стандартные движки обслуживания LLM тратят до 60–80% видеопамяти впустую. Причина — необходимость резервировать непрерывный блок памяти под Key-Value (KV) Cache для максимальной длины последовательности, даже если пользователь запросил короткий ответ. Это похоже на бронирование 12-местного стола в ресторане для одного гостя.

Решение: PagedAttention и виртуальная память

Инженеры vLLM позаимствовали механизм виртуальной памяти из операционных систем 1960-х годов. Вместо жестких блоков память разбивается на гибкие KV Blocks (по 16 токенов каждый). Логически блоки идут подряд, физически они разбросаны по VRAM, где есть место. Это снижает потери памяти с ~70% до менее 4%.

Централизованный оркестратор

Управление сотнями пользователей требует координации. vLLM использует центральный планировщик (scheduler) с политикой First-Come-First-Serve (FCFS). Он динамически маппит логические блоки в физические адреса GPU/CPU в реальном времени, предотвращая фрагментацию и хаос.

Результаты производительности

Внедрение этой архитектуры позволяет vLLM обходить ограничения локальных рантаймов. В корпоративных развертываниях зафиксирован рост пропускной способности (throughput) в 2–4 раза по сравнению с традиционными методами обслуживания.

Почему это важно

Эффективное использование GPU снижает стоимость инференса LLM, делая развертывание больших моделей экономически целесообразным для бизнеса. vLLM стал стандартом де-факто благодаря именно этому архитектурному прорыву.

Источник: Towards AI pub ↗