AIKraft Agents
Главная/Блог/Аналитика/TokenGate: Ускорение префилла LLM до…
Аналитика4 мин чтения · 25 октября 2026 г.

TokenGate: Ускорение префилла LLM до 11.3x через обучаемое прунинг-отсечение токенов

Исследователи из Стэнфорда и Беркли представили TokenGate — модуль для обучения LLM отсечению лишних токенов. Метод ускоряет префилл до 11.3x и снижает потребление VRAM в 3.4 раза без потери точности.

TokenGate: Ускорение префилла LLM до 11.3x через обучаемое прунинг-отсечение токенов

Длинный контекст (long-context) остается «ахиллесовой пятой» для локальных LLM: фаза префилла (prefill) требует квадратичных вычислений поAttention, что приводит к долгому времени до первого токена (TTFT) и пиковому расходу VRAM. Исследователи из Стэнфорда и UC Berkeley представили TokenGate — модуль, который добавляет обучаемое прунинг-отсечение токенов в уже существующие модели. В отличие от эвристических методов, TokenGate учится выбирать, какие токены важны, а какие можно пропустить, не переобучая модель с нуля.

01Как работает TokenGate: архитектура и механика

TokenGate работает как «вставка» (drop-in component) в архитектуру Transformer. Процесс инференса делится на три фазы:

  1. Стандартный проход: Слой L и все слои ниже обрабатывают все N токенов входного промпта.
  2. Модуль Gate (Шлюз): MLP-шлюз (с дообучением через LoRA rank=16) оценивает каждый токен на основе его residual-состояния после слоя L. Селектор Top-K оставляет только самые важные токены.
  3. Обрезанный проход: Все слои выше L обрабатывают только K отобранных токенов. KV-кэш для отсеченных токенов не создается.

Ключевая инновация — Token-Gated Attention. Поскольку операция Top-K недифференцируема, метод заимствует идею из Mixture-of-Experts (MoE). Оценки шлюза добавляются как смещение (bias) к логитам внимания в слоях выше. Это позволяет градиентам возвращаться к шлюзу, делая обучение end-to-end возможным. Также используются обучаемые коэффициенты усиления (gain) и температуры для каждого заголовка (head), что компенсирует изменение количества ключей для каждого запроса.

💡
Важно для практиков. Отсекаются только токены документа (контекста). Токены вопроса (query) никогда не обрезаются, что гарантирует сохранение точности ответа на поставленный вопрос.

02Производительность и бенчмарки

Тестирование проводилось на моделях Qwen3-1.7B и Qwen3.5-2B (гибридная архитектура с Gated DeltaNet) на датасетах RepoBench-P, 2WikiMultihopQA, MultiNews, BioDEX и Needle-In-A-Haystack (NIAH). Сравнение велось с базовыми методами: FastKV, SlimInfer, DASH, GemFilter, FlexPrefill и MInference.

Результаты демонстрируют парето-оптимальность TokenGate:

  • Ускорение TTFT: от 1.4x до 11.3x по сравнению с полным префиллом.
  • Снижение VRAM: пиковая память падает в 1.5x – 3.4x раза.
  • Масштабируемость: Шлюз, обученный на контексте 16k, показывает ускорение 12.8x на 32k, 13.0x на 64k и 128k токенов.

На задаче NIAH (поиск иголки в стоге сена) при 16k контекста ускорение достигло 11.3x при снижении памяти в 3.42x. На гибридной модели Qwen3.5-2B TokenGate смог обрезать слои DeltaNet, что недоступно для FastKV (который работает только с Attention-слоями), показав ускорение 3.8x на NIAH 32k.

03Сравнение с конкурентами

Ниже приведена сравнительная таблица ключевых характеристик методов прунинга. Обратите внимание, что TokenGate требует дообучения, тогда как конкуренты часто работают без него (training-free), но проигрывают в точности при высоких скоростях.

Фича TokenGate FastKV SlimInfer GemFilter
Выбор токенов Обучаемый MLP шлюз Внимание по последним запросам Блочное внимание, многоэтапное Внимание по последнему запросу
Требует обучения Да (Gate + LoRA r=16) Нет Нет Нет
Слой прунинга (Qwen3-1.7B) 13 (по умолчанию) 8, 17, 25 12 11
Работа с DeltaNet Да Нет Не раскрыто Не раскрыто
Лучшее ускорение префилла 11.3x TTFT, 3.4x VRAM 1.82x префилл 2.53x TTFT (RTX 4090) 2.4x скорость
⚠️
Предупреждение о совместимости. TokenGate требует Python 3.10+ и CUDA PyTorch 2.9+. Для максимальной скорости на плотных моделях (Qwen3) рекомендуется установка FlashAttention-2, иначе используется fallback на FlexAttention.

04Деплой и установка

Код и чекпоинты доступны на GitHub под лицензией Apache-2.0. Для локального запуска потребуется видеокарта с достаточным объемом VRAM (рекомендуется A100 для референсных тестов, но модель 1.7B/2B легко влезет в 24GB карт типа RTX 3090/4090).

Пример использования в коде (псевдокод на основе описания API):

terminalpython
# Инициализация модели с загруженным шлюзом TokenGate
from tokengate import TokenGateModel

model = TokenGateModel.from_pretrained(
    "liana313/tokengate-niah-qwen3-1.7b",
    device_map="auto"
)

# Генерация с ограничением на количество сохраняемых токенов префилла
# max_kept_prefill_tokens - бюджет токенов для обработки
output = model.generate(
    input_ids=input_tokens,
    max_kept_prefill_tokens=2048,  # Пример: оставляем 2k токенов из 16k
    do_sample=False
)

Обучение шлюза повторяет рецепт TRL/PEFT. Каждый шаг обучения занимает в 1.3 раза больше времени, чем обычное LoRA-дообучение, но сходимость достигается быстрее (в среднем 1.8 часа на A100 против 2.2 часов для базового LoRA).

05Кому подойдёт / что запустится

  • Для разработчиков RAG-систем: Если вы работаете с длинными документами (16k+ токенов), TokenGate радикально сократит время ожидания первого ответа (TTFT), не жертвуя точностью поиска фактов.
  • Для владельцев слабых GPU: Снижение пиковой VRAM в 3.4x позволяет запускать более длинные контексты на картах с 12-16GB памяти, где раньше это вызывало OOM (Out Of Memory).
  • Для гибридных моделей: Если вы используете Qwen3.5 или подобные архитектуры с DeltaNet, TokenGate — один из немногих методов, способных эффективно прунить не-Attention слои.

Метод особенно актуален для сценариев, где важна скорость отклика (agentic AI, чат-боты), а не только максимальная пропускная способность (throughput) при батчинге.

Источник: MarkTechPost ↗