Расширение линейки TPU v8: четыре конфигурации за год
Google продолжает диверсификацию своего восьмого поколения TPU, представив две новые системы: TPU 8tx и TPU 8i Max. Это первый случай, когда компания предлагает четыре различные системные конфигурации в рамках одного поколения, хотя и не на базе новых кристаллов. Ключевое отличие — специализация под конкретные workload'и: от защищенных вычислений до работы с огромными контекстными окнами.
TPU 8tx: Confidential Computing и AMD EPYC Turin
Модель TPU 8tx ориентирована на регулируемые предприятия и государственные структуры, работающие с чувствительными данными. В отличие от традиционного шифрования «в покое» и «в пути», здесь реализовано Confidential Computing — данные остаются зашифрованными даже в оперативной памяти внутри изолированной среды выполнения (TEE).
Для обеспечения безопасности и производительности Google выбрала хосты на базе 5-го поколения AMD EPYC «Turin». Конфигурация с двумя сокетами (dual-socket) предоставляет 128 линий PCIe Gen5, что гарантирует отсутствие перегрузки I/O при подключении четырех ускорителей TPU и высокоскоростных сетевых карт. Интересно, что будущие процессоры AMD EPYC «Venice» (Gen6) будут работать на скоростях Gen5 без прироста пропускной способности ускорителей, что соответствует графику квалификации оборудования на 2027 год.
Сетевая топология Boardfly для низкой задержки
Важной особенностью TPU 8tx является использование сетевой топологии Boardfly, заимствованной из инференсных моделей. В отличие от торусной топологии (используемой в TPU 8t для обучения), Boardfly снижает максимальное количество «прыжков» (hops) между чипами с 16 до 7. Это критически важно для многошаговых агентов, делающих множество последовательных запросов. По заявлениям Google, это обеспечивает снижение задержки до 2x по сравнению с TPU 8t при почти нулевой потере производительности.
TPU 8i Max: Решение проблемы «стены памяти»
Вторая новая модель — TPU 8i Max — атакует проблему нехватки пропускной способности памяти. Для задач, где агенты ИИ анализируют целые кодовые базы или часы видео, вычислительная мощность часто упирается в скорость чтения данных. Google объединила два чипа TPU 8i в один мультичиповый модуль (MCM).
Это решение дает кратный прирост ключевых метрик:
- Объем HBM: 384 ГБ (на ~33% больше, чем у обычного TPU 8i).
- Пропускная способность HBM: 17,2 ТБ/с (удвоение).
- Внутренняя SRAM: 768 МБ (удвоение).
Сравнение характеристик TPU v8
| Параметр | TPU 8t (Training) | TPU 8i (Inference) | TPU 8tx (Confidential) | TPU 8i Max (High-Bandwidth) |
|---|---|---|---|---|
| Основная задача | Обучение моделей | Инференс (низкая задержка) | Защищенный инференс | Инференс (высокая память) |
| Сетевая топология | Torus (16 hops) | Boardfly (7 hops) | Boardfly (7 hops) | Boardfly (7 hops) |
| Хост-процессор | AMD EPYC (Gen5/Gen6) | AMD EPYC | AMD EPYC Turin (Dual-socket) | AMD EPYC |
| Объем HBM | Информация недостаточна | ~288 ГБ (оценка) | Информация недостаточна | 384 ГБ |
| Пропускная способность HBM | Информация недостаточна | ~8.6 ТБ/с (оценка) | Информация недостаточна | 17.2 ТБ/с |
| Безопасность данных | Стандартная | Стандартная | Confidential Computing (шифрование в памяти) | Стандартная |
Значение для рынка
Стратегия Google демонстрирует четкое разделение ролей: TPU 8tx становится кастомизированным продуктом для безопасных вычислений, а TPU 8i Max — решением для ресурсоемкого инференса. Для AMD это значимая победа: подтверждение того, что EPYC Turin способен эффективно работать с не-AMD ускорителями в сценариях высокой безопасности, что укрепляет позиции компании в сегменте гиперскейлеров.
Источник: ServeTheHome ↗