Конец монополии CUDA?
Meta, Google и стартап RadixArk (основан создателями SGLang) анонсировали запуск TorchTPU — нативного бэкенда PyTorch для Google TPUs. В отличие от старого моста PyTorch/XLA, новая архитектура позволяет запускать модели без переписывания кода на JAX. Это критически важно для экосистемы PyTorch, которая доминировала в индустрии, но была привязана к GPU Nvidia.
Ранее Meta уже тестировала TPUs с 2020 по 2023 год, но отменила контракты. Теперь же, после подписания многолетнего соглашения на аренду (с 2026 года) и будущие покупки (2027), Meta использует железо Google в реальном продакшене. Параллельно Amazon открыл код TorchNeuron для своих чипов Trainium, что усиливает тренд на диверсификацию аппаратного обеспечения.
Производительность: Ironwood против GB200
Стартап Inferact (основан создателями vLLM) провел бенчмарки нового стека. На модели Kimi K3 (2.8 трлн параметров) конфигурация из 16 чипов Google Ironwood (7-е поколение) показала результат 700 токенов/сек на пользователя. Для сравнения, аналогичная конфигурация на 16 GPU Nvidia GB200 выдала всего 452 токена/сек.
| Параметр | Google TPU (Ironwood) | Nvidia GPU (GB200) |
|---|---|---|
| Модель | Kimi K3 (2.8T params) | Kimi K3 (2.8T params) |
| Конфигурация | 16 чипов + speculative decoding | 16 GPU |
| Скорость (токенов/сек) | 700 | 452 |
| Пропускная способность (малые батчи) | В 1.4–2 раза выше базовой | База |
Стратегическое значение
Запуск SGLang-TorchTPU и vLLM-TorchTPU открывает путь для других клиентов Google. Google впервые продает TPUs внешним заказчикам, что напрямую угрожает рыночной доле Nvidia в сегменте AI-инференса. Meta заявляет, что не может быть ограничена одной архитектурой, и теперь у нее есть зрелый стек для развертывания PyTorch-нагрузок на железе Google.
Планы на будущее
Разработчики планируют добавить поддержку моделей DeepSeek V4.1 Flash и Reflection Beam. Цель — обеспечить поддержку новых открытых моделей с первого дня релиза (Day 0 support) к первому кварталу 2027 года. Детали сотрудничества будут представлены на SGLang Summit 2026 в Сан-Франциско (12–13 ноября).
Источник: Tom's Hardware ↗