Agentic AI меняет правила игры
Agentic AI трансформирует инференс из простой генерации токенов в распределенный рабочий процесс. Один запрос теперь включает множество вызовов моделей, инструментов, проверок политик и обращений к памяти. Ключевая проблема — управление KV-кэшем (состоянием внимания), который должен сохраняться, защищаться и переиспользоваться между шагами рассуждений агента. Если инфраструктура не справляется с перемещением этих данных, GPU простаивают, а задержки растут.
Архитектура нового поколения: BlueField-4 и STX
NVIDIA предлагает решение через экстремальное со-проектирование (co-design) аппаратного и программного обеспечения. Платформа включает два ключевых компонента:
- NVIDIA BlueField-4 DPU: Интегрирует до 800 Гбит/с Ethernet/InfiniBand, 64-ядерный процессор NVIDIA Grace, память LPDDR5X и PCIe Gen6. Он берет на себя сетевые, хранилищные, безопасностные и телеметрические задачи, освобождая хост-процессоры.
- Vera BlueField-4 STX Storage Processor: Специализированный процессор для AI-нативного хранения. Использует процессор NVIDIA Vera, ConnectX-9 SuperNIC и до 1,6 Тбит/с пропускной способности Spectrum-X Ethernet. Он управляет контекстной памятью (CMX) и KV-кэшем через ПО DOCA Memos.
Сравнение с предыдущим поколением
Переход на BlueField-4 обеспечивает кратный рост производительности инфраструктуры, что критично для масштабируемости AI-фабрик. Ниже приведены ключевые метрики сравнения:
| Параметр | BlueField-3 | BlueField-4 | Рост |
|---|---|---|---|
| Пропускная способность сети | 400 Гбит/с | 800 Гбит/с | 2x |
| Вычислительная производительность | База | Улучшенная | до 6x |
| Емкость памяти | База | Улучшенная | 4x |
| Пропускная способность памяти | База | Улучшенная | >3x |
Роль ПО DOCA и интеграция с Vera Rubin
Аппаратная мощь управляется платформой NVIDIA DOCA. Это программная основа, позволяющая разработчикам и операторам создавать программируемые микросервисы для управления жизненным циклом мультиарендных сред, обеспечения безопасности Zero Trust и переиспользования контекста. В архитектуре NVIDIA Vera Rubin и DSX BlueField-4 выступает как «операционная система» AI-фабрики, обеспечивая изоляцию, ускорение данных и предсказуемые задержки.
Почему это важно для бизнеса
Внедрение BlueField-4 позволяет достичь конкретных производственных результатов:
- Выше утилизация GPU: Хост-CPU не тратят ресурсы на инфраструктурные задачи, а занимаются логикой агентов.
- Ниже стоимость токена: За счет эффективного управления памятью и снижения накладных расходов.
- Больше токенов на ватт: Оптимизация энергопотребления за счет выноса обработки на энергоэффективные DPU.
- Изоляция арендаторов: Строгое разделение данных и политик безопасности на уровне инфраструктуры.
Источник: NVIDIA dev blog ↗