В мире больших языковых моделей (LLM) и, в особенности, автономных AI-агентов, проблема бесконечного контекста стоит как никогда остро. Чем дольше работает агент, тем больше сообщений, инструментов и промежуточных выводов он генерирует. Традиционный подход к решению этой проблемы — «контекстная инженерия» (context engineering) — часто сводится к грубому усечению или суммаризации истории диалога. Однако исследователи из Университета Цинхуа (Tsinghua University) и Китайского университета Гонконга (CUHK) предлагают радикально иной путь. Они открыли исходный код системы AKV (Agent KV), которая не удаляет текст из истории, а манипулирует самим механизмом внимания модели, управляя KV-кэшем (Key-Value cache). Это позволяет агентам сохранять важные детали, сокращать вычислительные затраты и повышать точность выполнения задач без необходимости переписывать историю сообщений.
AKV — это не просто библиотека, а полноценная система обслуживания (serving system), построенная на базе SGLang. Её ключевая идея заключается в том, чтобы позволить агенту самому решать, какие части его памяти (в виде KV-тензоров) нужно «забыть» или переместить, не нарушая при этом целостности текстового потока. В результате, на трех различных моделях и четырех бенчмарках для агентов, средняя стоимость выполнения задач снизилась на 27,7%, а средний балл точности вырос на 1,7 пункта. Это прорыв, который меняет парадигму работы с длинным контекстом: вместо того чтобы сжимать текст, мы оптимизируем то, как модель его «видит».
01Что такое KV-кэш и почему он важен для агентов?
Чтобы понять инновационность AKV, нужно разобраться в том, как LLM обрабатывают информацию. Когда модель генерирует текст, она вычисляет для каждого токена два вектора: Key (ключ) и Value (значение). Эти пары хранятся в KV-кэше. При обработке нового токена модель обращается к кэшу через механизм внимания (attention), чтобы определить, какие предыдущие токены наиболее релевантны. Для длинных диалогов этот кэш может занимать гигабайты памяти GPU, а чтение из него составляет до 82,4% от общей стоимости API-вызовов, как указано в исследовании.
Традиционная «контекстная инженерия» работает на уровне текста. Если история становится слишком длинной, система либо обрезает её, либо использует другую LLM для создания краткого резюме. Проблема такого подхода в том, что изменение префикса текста (истории) делает недействительным весь последующий KV-кэш. Модель вынуждена заново вычислять состояния для всего оставшегося суффикса (re-prefill). Это дорого и медленно. Кроме того, агрессивная суммаризация часто приводит к потере важных деталей из середины диалога, которые могли бы быть критичными для финального ответа.
AKV предлагает «инженерию кэша» (cache engineering). Она оставляет текстовую траекторию (историю сообщений) нетронутой. Вместо этого система изменяет только то, какие именно KV-записи остаются видимыми для механизма внимания. Сохраненные записи переиспользуются без пересчета, что экономит вычислительные ресурсы. При этом, даже если сообщение было «удалено» из кэша, информация из него может косвенно сохраняться в других токенах, которые остались активными. Это тонкий баланс между эффективностью и сохранением смысла.
02Как работает AKV: три операции с кэшем
Сердце AKV — это три основные операции с KV-кэшем, которые система может выполнять динамически во время работы агента. Эти операции интегрированы в ядро SGLang, что позволяет им работать с высокой скоростью.
- Append (Добавление): Стандартная операция обновления для новых токенов. Когда агент генерирует новый ответ или получает ответ от инструмента, новые KV-записи добавляются в конец кэша.
- Drop (Удаление): Самая важная операция. AKV позволяет удалять выбранные записи из будущего внимания, не меняя их позиций в памяти. Это не физическое удаление из памяти GPU, а скорее «скрытие» их от механизма внимания. Это позволяет агенту «забыть» старые или нерелевантные сообщения, не ломая структуру последовательности.
- Repos (Перемещение): Эта операция переписывает оставшиеся ключи (keys) в позиции с 0 до r-1, используя вращение позиционного кодирования (RoPE rotation). Значения (values) остаются неизменными, что означает, что скрытые состояния не нужно пересчитывать. Это критически важно для производительности.
Эксперименты показали, что добавление операции Repos значительно улучшает результаты. Например, для модели GPT-OSS-120B на бенчмарке BrowseComp-Plus проходимость (pass rate) выросла с 55% до 62% только благодаря возможности компактного перемещения активных токенов в начало кэша. Это сохраняет локальность внимания, которая важна для многих архитектурных оптимизаций.
03Сложности обслуживания и архитектура SGLang
Реализация таких операций на уровне сервиса (serving) — нетривиальная задача. В обычных условиях, если два запроса имеют одинаковые токены, они могут иметь разные состояния кэша из-за разной истории операций (Drop/Repos). Простое сопоставление префиксов (prefix matching) может привести к повторному использованию неверных состояний, что вызовет галлюцинации или ошибки.
AKV решает эту проблему, расширяя радиальное дерево (radix tree) SGLang. В это дерево добавляются узлы, специфичные для операций Drop и Reposition. Система отслеживает, какие KV-записи были удалены, и освобождает память только тогда, когда ни один активный запрос больше не нуждается в этих данных. Если кэш переполняется, система может эвакуировать состояния, но использует segment-batch attention для восстановления этих состояний всего за один проход префиллинга. Это минимизирует накладные расходы на управление памятью.
04API и управление политикой кэша
Интерфейс AKV спроектирован так, чтобы быть максимально совместимым с экосистемой OpenAI. Клиенты отправляют полную историю сообщений, но добавляют два необязательных поля:
- drop_message: Карта, сопоставляющая индекс триггерного сообщения с сообщениями, которые нужно удалить из кэша.
- reposition: Список индексов, после которых позиции должны быть сжаты (перемещены в начало).
На основе этих полей строится CachePolicy. В AKV реализованы встроенные политики: на основе ходов (turn-based), на основе токенов (token-based) и на основе модели (model-based). Также существует CacheTool, который позволяет самой LLM вызывать функцию drop_context самостоятельно. Это открывает путь к самооптимизирующимся агентам, которые учатся управлять своей собственной памятью.
# Пример псевдокода использования API
response = client.chat.completions.create(
model="gpt-oss-120b",
messages=history,
drop_message={"trigger": 5, "drop_indices": [0, 1, 2]},
reposition=[3, 4]
)05Результаты тестирования: скорость и точность
Исследователи протестировали AKV на трех моделях: GPT-OSS-120B (5,1B активных параметров), MiniMax-M2.7 (230B всего, 10B активных) и MiroThinker-1.7-Mini (30B всего, 3B активных). Тестирование проводилось на четырех бенчмарках: BrowseComp-Plus, GAIA-Text, SWE-bench Verified и xbench-DeepSearch-2510. В качестве базовой линии использовалась стандартная суммаризация (Standard) и суммаризация Text Engineering.
Результаты впечатляют. В среднем по всем бенчмаркам AKV снизила стоимость на 27,7% по сравнению с базовой линией и повысила средний балл на 1,7 пункта. Наибольшее улучшение наблюдалось у модели GPT-OSS-120B на SWE-bench Verified: стоимость задачи упала с 20,0 до 9,7 цента, а балл вырос с 40,0 до 43,2.
На длинных контекстах (96K токенов и более) на BrowseComp-Plus AKV показала 37% проходимости, тогда как стандартная суммаризация дала только 24%, а Text Engineering — 32%. Это доказывает, что сохранение структуры кэша лучше справляется с удержанием информации в длинных диалогах, чем текстовое сжатие.
06Производительность в условиях высокой нагрузки
Помимо экономии денег, AKV значительно ускоряет работу. В тестах на пропускную способность (throughput) с моделью GPT-OSS-120B на 80 задачах SWE-bench Verified, AKV обеспечила пропускную способность вывода (output throughput) на 1,18x выше, а ввод (input throughput) — на 1,53x выше, чем базовая линия.
Самый яркий пример — задержка P95 (время, за которое 95% запросов завершаются) при конкурентности 16. У стандартной модели она достигала 229,90 секунд, в то время как у AKV — всего 30,63 секунды. Это разница в 7,5 раз! Причина в том, что высокое давление на KV-кэш заставляет стандартную модель постоянно выполнять повторный префиллинг. С AKV время полного внимания на один шаг декодирования сократилось с 7,082 мс до 2,849 мс.
07Самооптимизация агентов
Одним из самых перспективных направлений является способность агентов настраивать свою собственную политику кэша. В эксперименте модель MiniMax-M2.7 обучалась настраивать политики на 20 задачах BrowseComp-Plus, а затем тестировалась на 100 новых задачах. Политика 6-й итерации снизила затраты на 17,8% по сравнению со стандартной политикой при сохранении базовой точности.
Более того, предоставление модели инструмента для управления кэшем (drop_context) улучшило точность. Для GPT-OSS-120B балл вырос с 52,1 до 61,0 на подмножестве из 100 задач. Однако стоит отметить, что для MiniMax-M2.7 стоимость немного выросла (с 5,4 до 5,9 цента), что указывает на то, что не все модели одинаково эффективно используют этот инструмент, и требуется дополнительная настройка.
08Сравнение с другими подходами
AKV занимает уникальную нишу среди других методов оптимизации KV-кэша. В отличие от StreamingLLM (который использует фиксированное окно) или SnapKV (который сохраняет «тонкие» и недавние токены), AKV работает с агентами, где решения о кэше принимаются динамически. В отличие от SGLang RadixAttention (который просто переиспользует общие префиксы), AKV позволяет активно удалять и перемещать данные.
Важно отметить, что AKV пока поддерживает только текстовые модели Qwen, GPT-OSS и MiniMax-M2. Однако архитектура системы, построенная на SGLang, открывает путь для расширения поддержки на другие модели в будущем. Лицензия Apache-2.0 делает этот инструмент доступным для широкого круга разработчиков и компаний.
09Что это значит на практике
Для разработчиков AI-агентов и компаний, внедряющих LLM в бизнес-процессы, AKV предлагает немедленные преимущества. Во-первых, это прямая экономия средств. Снижение затрат на 27,7% при одновременном росте точности — это редкий случай «бесплатного обеда» в машинном обучении. Во-вторых, это возможность запускать более сложные агенты с длинной историей диалога на менее мощном оборудовании. Если раньше для работы с 100K токенов требовались дорогие GPU с большим объемом памяти, то теперь, благодаря эффективному управлению кэшем, можно достичь сопоставимых результатов с меньшими ресурсами.
В России, где доступ к зарубежным GPU и API может быть ограничен, локальный запуск AKV на доступных NVIDIA картах (например, A800 или даже более старых моделях с достаточным VRAM) становится стратегически важным. Возможность запускать GPT-OSS-120B на 2 GPU с тензорным параллелизмом 2 делает эту технологию доступной для средних проектов. Кроме того, интеграция с SGLang, который уже имеет хорошую поддержку в русскоязычном сообществе, упрощает внедрение.
В будущем мы можем увидеть появление «умных» агентов, которые не просто генерируют ответы, но и постоянно оптимизируют свою собственную память, «забывая» ненужное и «концентрируя» внимание на важном. AKV закладывает фундамент для этой эволюции, превращая KV-кэш из пассивного хранилища в активный инструмент управления знаниями.
Источник: MarkTechPost ↗