Длинный контекст (long-context) остается «ахиллесовой пятой» для локальных LLM: фаза префилла (prefill) требует квадратичных вычислений поAttention, что приводит к долгому времени до первого токена (TTFT) и пиковому расходу VRAM. Исследователи из Стэнфорда и UC Berkeley представили TokenGate — модуль, который добавляет обучаемое прунинг-отсечение токенов в уже существующие модели. В отличие от эвристических методов, TokenGate учится выбирать, какие токены важны, а какие можно пропустить, не переобучая модель с нуля.
01Как работает TokenGate: архитектура и механика
TokenGate работает как «вставка» (drop-in component) в архитектуру Transformer. Процесс инференса делится на три фазы:
- Стандартный проход: Слой L и все слои ниже обрабатывают все N токенов входного промпта.
- Модуль Gate (Шлюз): MLP-шлюз (с дообучением через LoRA rank=16) оценивает каждый токен на основе его residual-состояния после слоя L. Селектор Top-K оставляет только самые важные токены.
- Обрезанный проход: Все слои выше L обрабатывают только K отобранных токенов. KV-кэш для отсеченных токенов не создается.
Ключевая инновация — Token-Gated Attention. Поскольку операция Top-K недифференцируема, метод заимствует идею из Mixture-of-Experts (MoE). Оценки шлюза добавляются как смещение (bias) к логитам внимания в слоях выше. Это позволяет градиентам возвращаться к шлюзу, делая обучение end-to-end возможным. Также используются обучаемые коэффициенты усиления (gain) и температуры для каждого заголовка (head), что компенсирует изменение количества ключей для каждого запроса.
02Производительность и бенчмарки
Тестирование проводилось на моделях Qwen3-1.7B и Qwen3.5-2B (гибридная архитектура с Gated DeltaNet) на датасетах RepoBench-P, 2WikiMultihopQA, MultiNews, BioDEX и Needle-In-A-Haystack (NIAH). Сравнение велось с базовыми методами: FastKV, SlimInfer, DASH, GemFilter, FlexPrefill и MInference.
Результаты демонстрируют парето-оптимальность TokenGate:
- Ускорение TTFT: от 1.4x до 11.3x по сравнению с полным префиллом.
- Снижение VRAM: пиковая память падает в 1.5x – 3.4x раза.
- Масштабируемость: Шлюз, обученный на контексте 16k, показывает ускорение 12.8x на 32k, 13.0x на 64k и 128k токенов.
На задаче NIAH (поиск иголки в стоге сена) при 16k контекста ускорение достигло 11.3x при снижении памяти в 3.42x. На гибридной модели Qwen3.5-2B TokenGate смог обрезать слои DeltaNet, что недоступно для FastKV (который работает только с Attention-слоями), показав ускорение 3.8x на NIAH 32k.
03Сравнение с конкурентами
Ниже приведена сравнительная таблица ключевых характеристик методов прунинга. Обратите внимание, что TokenGate требует дообучения, тогда как конкуренты часто работают без него (training-free), но проигрывают в точности при высоких скоростях.
| Фича | TokenGate | FastKV | SlimInfer | GemFilter |
|---|---|---|---|---|
| Выбор токенов | Обучаемый MLP шлюз | Внимание по последним запросам | Блочное внимание, многоэтапное | Внимание по последнему запросу |
| Требует обучения | Да (Gate + LoRA r=16) | Нет | Нет | Нет |
| Слой прунинга (Qwen3-1.7B) | 13 (по умолчанию) | 8, 17, 25 | 12 | 11 |
| Работа с DeltaNet | Да | Нет | Не раскрыто | Не раскрыто |
| Лучшее ускорение префилла | 11.3x TTFT, 3.4x VRAM | 1.82x префилл | 2.53x TTFT (RTX 4090) | 2.4x скорость |
04Деплой и установка
Код и чекпоинты доступны на GitHub под лицензией Apache-2.0. Для локального запуска потребуется видеокарта с достаточным объемом VRAM (рекомендуется A100 для референсных тестов, но модель 1.7B/2B легко влезет в 24GB карт типа RTX 3090/4090).
Пример использования в коде (псевдокод на основе описания API):
# Инициализация модели с загруженным шлюзом TokenGate
from tokengate import TokenGateModel
model = TokenGateModel.from_pretrained(
"liana313/tokengate-niah-qwen3-1.7b",
device_map="auto"
)
# Генерация с ограничением на количество сохраняемых токенов префилла
# max_kept_prefill_tokens - бюджет токенов для обработки
output = model.generate(
input_ids=input_tokens,
max_kept_prefill_tokens=2048, # Пример: оставляем 2k токенов из 16k
do_sample=False
)Обучение шлюза повторяет рецепт TRL/PEFT. Каждый шаг обучения занимает в 1.3 раза больше времени, чем обычное LoRA-дообучение, но сходимость достигается быстрее (в среднем 1.8 часа на A100 против 2.2 часов для базового LoRA).
05Кому подойдёт / что запустится
- Для разработчиков RAG-систем: Если вы работаете с длинными документами (16k+ токенов), TokenGate радикально сократит время ожидания первого ответа (TTFT), не жертвуя точностью поиска фактов.
- Для владельцев слабых GPU: Снижение пиковой VRAM в 3.4x позволяет запускать более длинные контексты на картах с 12-16GB памяти, где раньше это вызывало OOM (Out Of Memory).
- Для гибридных моделей: Если вы используете Qwen3.5 или подобные архитектуры с DeltaNet, TokenGate — один из немногих методов, способных эффективно прунить не-Attention слои.
Метод особенно актуален для сценариев, где важна скорость отклика (agentic AI, чат-боты), а не только максимальная пропускная способность (throughput) при батчинге.
Источник: MarkTechPost ↗
