Проблема универсальных политик
Префиксное кэширование позволяет серверам больших языковых моделей (LLM) переиспользовать состояния Key-Value (KV) для ускорения этапа префиллинга. Однако при ограниченных ресурсах памяти критическим фактором становится политика вытеснения (eviction policy). В реальных продакшен-средах трафик смешанный: он включает однократные запросы, многооборотные диалоги и агентные сессии. Исследование показало, что ни одна статическая политика не является оптимальной для всех сценариев.
Сравнение производительности политик
Авторы проанализировали 20 различных смесей нагрузки и выявили существенные расхождения в эффективности популярных стратегий. Стандартная политика LRU (Least Recently Used) из vLLM лучше справляется с агентными нагрузками, но проигрывает частотно-ориентированным алгоритмам в других сценариях. Ниже приведены ключевые метрики сравнения:
| Политика | Преимущество в агентных сценариях | Превосходство в других сценариях | Ограничения |
|---|---|---|---|
| LRU (vLLM default) | +12% хитов кэша | Уступает до 22% | Не учитывает частоту популярных промптов |
| S3FIFO | Уступает | До +22% хитов кэша | Хуже работает с короткими агентными шагами |
| WAKMan (New) | Адаптивный выбор | Средний прирост +5% над LRU | Минимальный разрыв по оптимальности |
Как работает WAKMan
WAKMan (Workload Aware KVCache Manager) — это менеджер, который выбирает политику вытеснения на основе живого трафика в реальном времени. Ключевая особенность системы: она не требует предварительного знания типов запросов или анализа содержимого промптов. Алгоритм анализирует метрики, такие как время возврата агентных шагов (секунды, приоритет недавности) и частоту повторения популярных промптов (приоритет частоты), автоматически переключаясь между стратегиями.
Результаты и значимость
Внедрение WAKMan обеспечивает средний прирост хитов кэша на 5 процентных пунктов по сравнению с LRU. Более важно то, что система демонстрирует наименьшую среднюю и наихудшую разницу по оптимальности среди всех протестированных политик. Это означает, что WAKMan не просто выигрывает в отдельных тестах, а обеспечивает стабильно высокую эффективность в непредсказуемых условиях продакшена, снижая задержки и стоимость обслуживания LLM.
Источник: arXiv cs.AI ↗