AIKraft Agents
Главная/Блог/Аналитика/Google TPU Sync: Революция в передаче…
Аналитика4 мин чтения · 13 ноября 2026 г.

Google TPU Sync: Революция в передаче KV-кэша для LLM

Google представила TPU Sync — библиотеку с открытым исходным кодом, которая кардинально снижает задержки при передаче состояний моделей. Разбираем, как это работает и что это значит для индустрии.

Google TPU Sync: Революция в передаче KV-кэша для LLM

В мире больших языковых моделей (LLM) долгое время доминировал парадокс: вычислительная мощность растет экспоненциально, но эффективность системы упирается не в скорость умножения матриц, а в скорость перемещения данных. Особенно это критично для моделей с экспертами (MoE) и длинными контекстами, где объем состояния модели (KV-кэш) может превышать возможности локальной памяти. Google Cloud решила эту проблему, выпустив TPU Sync — новую открытую библиотеку на C++, которая переосмысливает иерархию памяти в дата-центрах.

Это не просто еще одна оптимизация драйверов. TPU Sync объединяет высокоскоростную память TPU (HBM), хостовую DRAM, локальные SSD и сетевые интерфейсы в единую логическую структуру. Результат впечатляет: задержки при передаче KV-кэша для моделей от сотен миллиардов параметров снизились более чем на 90%. В эпоху, когда время до первого токена (TTFT) является ключевым метрикой пользовательского опыта, такой скачок производительности меняет правила игры.

В этой статье мы подробно разберем архитектуру TPU Sync, технические детали ее работы, сравним с решениями от NVIDIA и других игроков рынка, а также оценим практическую значимость этого инструмента для разработчиков и инфраструктурных инженеров.

01Что такое TPU Sync и зачем он нужен?

TPU Sync — это библиотека с открытым исходным кодом (лицензия Apache-2.0), разработанная Google для управления перемещением тензоров между различными уровнями памяти в облачных TPU. Ее основная задача — решение узкого места, связанного не с вычислениями, а с перемещением состояния модели.

Библиотека решает две ключевые задачи:

  1. Управление KV-кэшем во время вывода (inference): При генерации текста модель постоянно обращается к ранее вычисленным ключам и значениям (KV-кэш). Для длинных контекстов этот кэш становится огромным. TPU Sync позволяет эффективно перемещать блоки этого кэша между узлами.
  2. Трансляция весов в обучении с подкреплением (RL): В сценариях RL часто требуется быстро передавать веса модели от тренера к семплеру. TPU Sync обеспечивает высокоскоростную передачу этих весов, хотя этот функционал пока находится в экспериментальной стадии.
Google TPU Sync: Революция в передаче KV-кэша для LLM

Библиотека написана на C++ для максимальной производительности, но предоставляет Python-обертки (wheels) для интеграции с популярными фреймворками PyTorch и JAX. Это делает ее доступной для широкого круга разработчиков, работающих с экосистемой Google Cloud TPU.

02Архитектура: Единая иерархия памяти

Ключевая инновация TPU Sync заключается в том, как она рассматривает память. Традиционно HBM TPU, DRAM сервера и сетевая память рассматриваются как изолированные сущности с разными протоколами доступа. TPU Sync стирает эти границы, treating TPU HBM, host DRAM, shared storage and the data center network as one memory hierarchy.

Библиотека использует асинхронный прямой доступ к памяти (DMA) для перемещения данных без участия процессора. Это позволяет избежать накладных расходов на копирование данных в промежуточные буферы. Архитектура включает в себя несколько уровней:

  • TPU HBM: Высокопроизводительная память, непосредственно связанная с вычислительными ядрами.
  • Pinned Host DRAM: Выделенная память хоста, оптимизированная для быстрого обмена данными с TPU через PCIe.
  • Shared Storage: Экспериментальная поддержка POSIX-бэкендов, включая локальные SSD и Google Cloud Managed Lustre. Это позволяет "выгружать" (spill) избыточные данные кэша на диск, если оперативной памяти не хватает.
  • Data Center Network (DCN): Сеть для передачи данных между узлами. TPU Sync поддерживает стриминг через несколько сетевых интерфейсов (NIC) для агрегации пропускной способности.

Над этим базовым уровнем работают глобальное хранилище KV-кэша для поиска префиксов, контроллер передачи и менеджер кэша. Такая многоуровневая система позволяет гибко балансировать между скоростью и объемом хранимых данных.

Google TPU Sync: Революция в передаче KV-кэша для LLM
💡
Ключевая особенность. TPU Sync не использует компиляцию XLA в пути передачи данных. Все операции перемещения и ресайсинга выполняются в нативном C++ коде, что исключает задержки, связанные с построением графов вычислений для каждой операции передачи.

03Как это работает: Технические детали

Производительность TPU Sync достигается за счет четырех фундаментальных проектных решений, описанных в документации Google:

1. Прямой DMA с сохранением макета (Layout-preserving)

Библиотека читает буферы JAX PJRT или тензоры PyTorch непосредственно в их нативном расположении в памяти TPU. Данные не сериализуются в Python и не копируются через промежуточные "bounce buffers". Это сохраняет естественную структуру данных для TPU, что критически важно для эффективности вычислений после передачи.

2. Наложение вычислений и передач (Compute-overlapped transfers)

TPU Sync использует псевдонимы буферов PJRT, чтобы разрешить передачу данных во время выполнения вычислительных ядер. Это означает, что пока TPU обрабатывает один батч данных, следующий батч уже перемещается по шине PCIe. Встроенный механизм контроля скорости DMA предотвращает перегрузку шины, которая могла бы задержать запуск новых ядер.

3. Отсутствие XLA в пути данных

Как упоминалось выше, передача данных происходит вне графа XLA. Это позволяет избежать накладных расходов на компиляцию и оптимизацию графа для каждой операции перемещения тензора, что особенно важно при динамическом изменении размеров батчей или контекста.

4. Высокопроизводительный PCIe и DCN

На аппаратном уровне TPU Sync использует возможности PCIe Gen5. В тестах на TPU v7x (Ironwood) библиотека достигла скорости до 223 ГБ/с на хост, что близко к теоретическому пределу в 256 ГБ/с. Для

Источник: MarkTechPost ↗