Суть инновации: управление кэшем, а не текстом
Традиционные методы контекстного инжиниринга (context engineering) обрезают или суммируют историю диалога, что приводит к пересчету (re-prefill) оставшейся части. AKV (Agent KV) предлагает альтернативу: он оставляет текстовую траекторию нетронутой, но управляет видимостью KV-записей для механизма внимания. Это позволяет повторно использовать кэш без вычислений, так как чтение KV-кэша составляет 82.4% от общей стоимости API-вызовов.
Система работает поверх SGLang и использует три операции: Append (стандартное обновление), Drop (удаление выбранных записей из внимания) и Repos (переупаковка оставшихся ключей в начало через RoPE-поворот, значения не меняются). Это устраняет необходимость в переписывании префикса.
Результаты бенчмарков: дешевле и точнее
В тестах на трех моделях (GPT-OSS-120B, MiniMax-M2.7, MiroThinker-1.7-Mini) и четырех наборах данных (BrowseComp-Plus, GAIA-Text, SWE-bench Verified, xbench-DeepSearch-2510) AKV показал значительное улучшение метрик по сравнению с базовым суммированием (Standard) и методом Text Engineering.
| Модель | Standard (Score / Cost) | Text Eng. (Score / Cost) | AKV (Score / Cost) |
|---|---|---|---|
| MiniMax-M2.7 | 52.4 / 5.0 | 52.8 / 5.7 | 53.7 / 4.4 |
| GPT-OSS-120B | 51.0 / 11.2 | 48.3 / 10.2 | 53.1 / 7.3 |
| MiroThinker-1.7-Mini | 44.1 / 20.4 | 37.1 / 18.1 | 45.8 / 14.8 |
Примечание: Score — средний процент успешных задач (%), Cost — стоимость в центах за задачу. AKV снижает средние затраты на 27.7% и повышает средний балл на 1.7 пункта.
Производительность и задержки
На задаче SWE-bench Verified при высокой конкурентности (concurrency 16) AKV демонстрирует радикальное снижение задержек. P95 время ответа упало с 229.90 секунд (Standard) до 30.63 секунд (AKV). Время полного внимания на шаг декодирования сократилось с 7.082 мс до 2.849 мс. Пропускная способность вывода (output throughput) выросла в 1.18 раза, а ввода — в 1.53 раза.
API и гибкость политик
AKV предоставляет stateless API, совместимый с OpenAI. Клиенты отправляют полную историю сообщений и два опциональных поля: drop_message (индекс триггера для удаления) и reposition (индексы для компактификации). Поддерживаются встроенные политики (по ходам, токенам или модели), а также инструмент CacheTool, позволяющий самой модели управлять контекстом через вызов drop_context.
Сравнение с другими подходами
В отличие от SnapKV или StreamingLLM, которые работают с фиксированными окнами или промптами, AKV ориентирован на многошаговых агентов с вызовами инструментов. В отличие от SGLang RadixAttention, он явно управляет удалением и переупаковкой кэша по запросу агента. Лицензия кода — Apache-2.0. Поддержка моделей ограничена пока Qwen, GPT-OSS и MiniMax-M2.
Бенчмарки
| Бенчмарк | GPT-OSS-120B | MiniMax-M2.7 | MiroThinker-1.7-Mini | Standard | Text Engineering |
|---|---|---|---|---|---|
| SWE-bench Verified | 43.2% | — | — | 40.7% | 32.3% |
| BrowseComp-Plus | 62% | 58.9% | — | — | 62.3% |
| GAIA-Text | 53.1% | 53.7% | 45.8% | — | — |
| xbench-DeepSearch-2510 | 51% | 52.4% | 44.1% | — | — |
Жирным — лучший результат в строке. Источник цифр — официальная публикация.
Источник: MarkTechPost ↗