Агентный искусственный интеллект (Agentic AI) — это не просто эволюция генеративных моделей, это фундаментальный сдвиг в том, как мы строим вычислительные системы. Если раньше ИИ-инференс можно было представить как линейный процесс: «ввод данных — обработка — вывод», то теперь это сложный, распределенный рабочий процесс. Один запрос пользователя может запустить цепочку из множества вызовов моделей, обращений к инструментам, проверок политик безопасности, запросов к базам знаний и перемещений данных между узлами. В такой среде инфраструктура перестает быть просто «фундаментом», на котором все стоит. Она становится активным участником самого процесса инференса.
Проблема заключается в том, что традиционные серверные архитектуры, где центральный процессор (CPU) и графический процессор (GPU) делят ресурсы и конкурируют за пропускную способность памяти и сети, не справляются с такой нагрузкой. Задержки, возникающие при перемещении контекста, шифровании данных или маршрутизации пакетов, напрямую влияют на скорость ответа пользователя. NVIDIA предлагает решение через концепцию «экстремального со-проектирования» (extreme co-design), объединяя GPU, CPU, сетевые интерфейсы и специализированные процессоры BlueField в единую экосистему. В этой статье мы подробно разберем, как платформа NVIDIA BlueField-4 и программная платформа DOCA трансформируют AI-фабрики, делая их быстрее, безопаснее и эффективнее.
01Почему инфраструктура стала частью конвейера инференса
В классической модели обучения и инференса больших языковых моделей (LLM) инфраструктура часто рассматривалась как пассивный элемент. GPU вычисляли токены, а CPU занимался подготовкой данных. Однако с появлением агентов, которые могут самостоятельно планировать действия, использовать внешние инструменты и хранить долгосрочную память, эта граница стерлась. Агентный ИИ требует, чтобы данные не просто хранились, но и перемещались, защищались, извлекались и переиспользовались с минимальной задержкой.
Ключевым элементом здесь является KV-кэш (Key-Value cache). Во время этапа «prefill» (предварительной обработки промпта) модель генерирует состояние внимания, которое сохраняется для ускорения последующих шагов генерации. В агентных сценариях, где диалог может быть очень длинным, а контекст — огромным, этот кэш должен быть доступен мгновенно. Если GPU-память переполняется, система вынуждена выгружать кэш в более медленную память или даже на диск, что приводит к перекомputation (пересчету) и резкому росту задержек. Таким образом, управление KV-кэшем, сетевая маршрутизация и безопасность становятся критическими узкими местами, которые напрямую определяют скорость ответа агента.
02BlueField-4: Операционная система AI-фабрики
Для решения этих задач NVIDIA разработала платформу BlueField, которая действует как «операционная система» для AI-фабрики. Если GPU — это «мозг», выполняющий вычисления, то BlueField — это «нервная система», которая управляет потоками данных, обеспечивает безопасность и изоляцию. Платформа включает в себя два основных компонента: BlueField-4 DPU (Data Processing Unit) и Vera BlueField-4 STX (Storage Processor). Эти устройства берут на себя задачи, которые раньше ложилось на хостовые CPU, освобождая вычислительные ресурсы для самих агентов.
BlueField-4 DPU интегрирует до 800 Гбит/с Ethernet или InfiniBand, 64-ядерный процессор NVIDIA Grace, память LPDDR5X и поддержку PCIe Gen6. По сравнению с предыдущим поколением (BlueField-3), производительность вычислений заметно возросла, пропускная способность памяти и сетевая пропускная способность значительно увеличились. Это позволяет обрабатывать огромные объемы сетевого трафика, шифрования и управления политиками непосредственно на самом устройстве, не затрагивая основные ресурсы сервера.
Параллельно с этим Vera BlueField-4 STX Storage Processor предназначен для работы с AI-нативным хранилищем. Он использует процессор NVIDIA Vera, сетевой интерфейс ConnectX-9 и технологию DOCA Memos для управления KV-кэшем. STX не просто хранит данные как блоки; он понимает семантику KV-кэша, управляет очередями, планирует предварительную загрузку данных и обеспечивает безопасность на уровне кремния. Это превращает хранилище из пассивного архива в активный компонент конвейера инференса.
03Программная платформа DOCA: Гибкость и изоляция
Аппаратная мощь BlueField-4 раскрывается полностью только в связке с программной платформой DOCA (Data Center Operating Architecture). DOCA предоставляет разработчикам и операторам дата-центров единый интерфейс для создания, развертывания и управления ускоренными инфраструктурными сервисами. Это позволяет адаптировать инфраструктуру под меняющиеся требования агентных рабочих нагрузок, будь то переиспользование контекста, многопользовательская изоляция или новые паттерны выполнения агентов.
Среди ключевых сервисов DOCA можно выделить несколько критически важных для AI-фабрик:
- DOCA Host-Based Networking (HBN): Позволяет BlueField действовать как маршрутизатор уровня L3 (например, BGP) на стороне сервера. Это упрощает проектирование масштабируемых многопользовательских архитектур, где каждый клиент или агент получает выделенный сетевой путь.
- BlueField ASTRA: Обеспечивает развертывание bare-metal с нулевым доверием (zero-trust) для многопользовательских сред. BlueField становится управляющей точкой контроля, координируя работу нескольких инфраструктурных плоскостей вместе с ConnectX-9.
- DOCA Me
Источник: NVIDIA Developer ↗