Новая архитектура: от чипа к системе
Google анонсировала два новых аппаратных решения на базе кремния 8-го поколения: TPU 8tx и TPU 8i Max. Компания подчеркивает ключевое различие между разработкой нового чипа (процесс, занимающий годы) и созданием новой системы (интеграция вычислений, сети и памяти, которая может быть реализована за месяцы). Это позволяет Google быстро адаптировать инфраструктуру под меняющиеся потребности индустрии, особенно в эпоху автономных AI-агентов.
TPU 8tx: Аппаратная безопасность для чувствительных данных
TPU 8tx — это третье поколение систем 8-й серии, спроектированное для регулируемых отраслей (госсектор, финансы) и работы с проприетарными моделями. Главная инновация — интеграция безопасности на уровне железа. В отличие от традиционных подходов, где данные расшифровываются в памяти для обработки, TPU 8tx изолирует чувствительные данные и веса моделей даже во время активного использования.
Система построена на базе того же кремния, что и TPU 8t, но использует процессоры AMD EPYC 5-го поколения и сеть Boardfly. Это обеспечивает:
- Снижение задержек: до 2x ниже латентность по сравнению с TPU 8t при работе многошаговых агентов.
- Гибридные задачи: возможность одновременного обучения (fine-tuning) и инференса на одном кластере без миграции данных между сегментами.
TPU 8i Max: Решение проблемы «стены памяти»
Второй анонс — TPU 8i Max — направлен на устранление узкого места в пропускной способности памяти при работе с контекстами в миллионы токенов. Google объединила два чипа TPU 8i low-latency в единый пакет. Это решение позволяет масштабировать вычисления и память синхронно:
| Характеристика | TPU 8i (базовая) | TPU 8i Max (новая) |
|---|---|---|
| Вычислительная мощность | 1x | 2x |
| Объем SRAM | 1x | 2x |
| Пропускная способность HBM | 1x | 2x |
| Плотность размещения в стойке | Базовая | Высокая (2 чипа в том же footprint) |
Такая архитектура позволяет процессорам всегда иметь необходимые данные под рукой, предотвращая простои при обработке сложных задач, таких как анализ целых кодовых баз или часовых видеопотоков.
Программная экосистема: PyTorch и AgentX
Аппаратные новинки сопровождаются программными улучшениями, делающими TPUs доступными для разработчиков PyTorch без необходимости переписывания кода. Google открыла исходный код TorchTPU, обеспечив нативную работу с Hugging Face и движками vLLM/SGLang. Также представлен Agent Compute Engine, который автоматически приостанавливает сессии AI-агентов в моменты ожидания (например, запроса к базе данных), выгружая память с чипа за миллисекунды и экономя энергию.
Производительность в реальных задачах
Google заявляет о лидерских позициях на бенчмарках InferenceX и AgentX, которые тестируют реалистичные сценарии с длинным контекстом и кодингом. Использование стека vLLM-TorchTPU на новых TPUs обеспечивает state-of-the-art соотношение цена/производительность при сохранении высокой точности моделей. Это подтверждает стратегический сдвиг Google от теоретической пиковой скорости чипов к практической эффективности в рабочих нагрузках агентов.
Источник: TechPowerUp ↗