В эпоху больших языковых моделей (LLM) и генеративного искусственного интеллекта данные стали новым нефтяным месторождением. Однако, как и в случае с нефтью, ценность имеет не только наличие ресурса, но и скорость, с которой его можно извлечь и переработать. Для инженеров по инфраструктуре AI, разработчиков систем хранения данных и провайдеров облачных услуг критически важным становится вопрос: как обеспечить быстрый и безопасный доступ к огромным объемам файловых и объектных хранилищ, необходимых для обучения, тонкой настройки (fine-tuning), инференса и поиска по базам знаний?
Традиционные подходы к передаче данных часто становятся «бутылочным горлышком». Процессоры серверов (CPU) перегружены копированием данных между памятью и сетью, что приводит к задержкам и снижению общей производительности кластера. NVIDIA предлагает решение, которое меняет правила игры: технологии ускоренного доступа к объектным хранилищам, такие как NVIDIA cuObject и новый SCADA Server SDK. Эти инструменты позволяют графическим процессорам (GPU) обращаться к данным напрямую, минуя CPU, используя протоколы прямого доступа к памяти (RDMA). Это не просто улучшение производительности — это фундаментальное изменение архитектуры AI-фабрик.
В этой статье мы подробно разберем, как работают новые библиотеки cuObject, что такое консорциум xio-sig, как SDK SCADA помогает поставщикам хранилищ интегрироваться с GPU, и почему это важно для разработчиков, работающих с большими данными как в локальных центрах обработки данных, так и в облачных средах.
01Проблема: Почему CPU больше не справляется с нагрузкой AI
Современные AI-нагрузки требуют беспрецедентной скорости доступа к данным. При обучении моделей или выполнении сложных запросов инференса, системы должны постоянно обращаться к файлам и объектам, которые хранятся как локально, так и в облаке. Архитекторы вычислительных ускорителей — будь то GPU, TPU или другие XPU — сталкиваются с физической проблемой: данные должны попасть из хранилища непосредственно в память GPU для обработки.
В традиционной архитектуре данные проходят через CPU сервера. Процессор должен скопировать данные из сетевого интерфейса в оперативную память, а затем передать их в GPU. Этот процесс, известный как «copy-through-CPU», создает значительные задержки и потребляет вычислительные ресурсы процессора, который мог бы использоваться для других задач. По мере того как архитектуры GPU становятся быстрее, разрыв между скоростью обработки данных и скоростью их доставки только увеличивается.
Решением является использование прямого доступа к памяти (RDMA) через сетевые карты (NIC), такие как NVIDIA ConnectX, или через интеллектуальные сетевые процессоры (DPU), такие как NVIDIA BlueField. RDMA позволяет передавать данные напрямую между сетью и памятью GPU, минуя CPU. Это обеспечивает нулевое копирование (zero-copy), более высокую пропускную способность, меньшие задержки и освобождает CPU для выполнения других задач. Однако, несмотря на наличие технологий RDMA, экосистема объектных хранилищ оставалась фрагментированной. Разработчикам приходилось использовать разные API и протоколы для каждого провайдера, а единого стандарта для передачи данных через RDMA для объектных хранилищ долгое время не существовало.
02Решение: NVIDIA cuObject и стандартизация через xio-sig
NVIDIA объявила о всеобщей доступности (GA) клиентских и серверных библиотек NVIDIA cuObject. Это ключевое событие, так как cuObject предоставляет стандартизированные API и протокол передачи данных по сети (wire protocol) на базе RDMA для ускоренного доступа к объектным хранилищам. Теперь разработчики могут создавать приложения, которые работают с объектным хранилищем так же быстро, как и с файловым, без необходимости маршрутизации данных через CPU сервера.
Важнейшим аспектом является интеграция cuObject в консорциум xio-sig. Изначально этот консорциум был создан вокруг технологии cuFile для ускоренного доступа к файловым системам. Теперь, в партнерстве с Google Cloud и Microsoft, xio-sig расширяется, чтобы включить cuObject. Это создает путь к обеспечению интероперабельности (взаимодействуемости) между различными реализациями серверов и клиентов. Google Cloud уже оценивает расширение своего участия в проекте, а Microsoft планирует присоединиться к совету директоров xio-sig, чтобы улучшить интероперабельность ввода-вывода хранилищ.
Это означает, что разработчик, использующий клиент cuObject, сможет взаимодействовать с любым сервером, который поддерживает указанный протокол передачи данных, независимо от того, кто является поставщиком хранилища. Это снижает барьеры для внедрения и стимулирует конкуренцию на основе производительности, а не на основе проприетарных блокировок.
03Архитектура SCADA: Мост между GPU и хранилищами
Параллельно с развитием cuObject, NVIDIA анонсировала SCADA Server SDK (Scaled Accelerated Data Access Server SDK). SCADA — это программная инфраструктура, поддерживающая высокоскоростной, мелкозернистый доступ к хранилищам, инициируемый графическими процессорами. Если cuObject — это клиентская библиотека для работы с объектами, то SCADA Server SDK — это инструмент для поставщиков хранилищ, позволяющий им создавать серверы, которые могут отвечать на запросы, инициированные GPU-клиентами SCADA.
Новый SDK позволяет партнерам по хранилищам строить серверы, которые получают запросы от GPU-базированных клиентов SCADA, выполняют их, используя локальное или удаленное хранилище, и доставляют результаты обратно через RDMA. В рамках инициативы NVIDIA Storage-Next также разрабатываются такие компоненты, как Storage Lender Service и утилита командной строки SCADA для настройки и развертывания.
Это особенно важно для сценариев, где требуются мелкие, мелкозернистые запросы ввода-вывода, которые не укладываются в традиционные модели работы с большими блоками данных. Такие сценарии типичны для семантического поиска, рекомендательных систем и обнаружения мошенничества, где нужно быстро обращаться к большим наборам данных, но с высокой частотой мелких запросов.
04Практический пример: Интеграция с IBM Storage Scale
Теория обретает реальность, когда появляются работающие прототипы. IBM Storage продемонстрировала интероперабельность с использованием прототипа, который интегрирует SCADA с IBM Storage Scale. В этом сценарии клиент SCADA отправляет запросы на сервер Storage Scale, построенный на основе нового SCADA Server SDK.
Этот пример показывает, как поставщики хранилищ могут сотрудничать с NVIDIA для создания экосистемы ускоренного доступа к данным, инициируемого GPU. Это прокладывает путь к созданию программной инфраструктуры, которая сможет поддерживать доступ к огромным наборам данных для таких приложений, как семантический поиск, рекомендательные системы и системы обнаружения мошенничества. Для российских разработчиков и инженеров, работающих с корпоративными хранилищами, это сигнал о том, что будущее за открытыми стандартами, которые позволяют интегрировать различные решения в единую высокопроизводительную среду.
05Инициатива NVIDIA Storage-Next: Открытые стандарты
Всё это происходит в рамках более широкой инициативы NVIDIA Storage-Next. NVIDIA координирует усилия более чем 40 поставщиков и клиентов, включая производителей NAND-памяти, контроллеров, провайдеров хранилищ, гиперскейлеров и разработчиков приложений. Цель этой группы — определить, как должно работать хранилище, управляемое GPU, и превратить эти достижения в интероперабельные, открытые отраслевые стандарты.
SCADA выступает в роли поддерживающей программной инфраструктуры для этих стандартов. Это не закрытая технология NVIDIA, а открытый фреймворк, который приглашает к участию всю индустрию. Разработчики могут следить за репозиторием xio-sig, чтобы отслеживать обновления по работе над интероперабельностью cuObject и cuFile. Документация по управлению (governance) находится на рассмотрении у будущих членов совета директоров, что подчеркивает стремление к прозрачности и коллективному управлению стандартами.
06Как начать работу с cuObject и SCADA
Для инженеров и разработчиков, которые хотят оценить потенциал этих технологий, NVIDIA предоставляет ряд ресурсов. Библиотеки cuObject теперь общедоступны, что позволяет партнерам по хранилищам, поставщикам и потребителям начать использовать cuObject и подготовиться к вкладу в работу сообщества по созданию интероперабельных API и протоколов.
Основные шаги для начала работы включают:
- Изучение документации: Ознакомьтесь с документацией по cuObject, чтобы понять API и паттерны интеграции. Также полезно изучить документацию по GPUDirect Storage (GDS) и API cuFile для понимания полного контекста.
- Скачивание библиотек: Доступна версия cuObject Server 2.0.0 для оценки ускоренных библиотек объектных хранилищ. Также доступны предварительные загрузки NVIDIA CUDA 13.4.
- Использование Storage Lender Service: Попробуйте этот сервис с открытым исходным кодом (OSS), который является частью экосистемы SCADA.
- Отслеживание обновлений: Следите за репозиторием xio-sig и блогом NVIDIA FMS, чтобы быть в курсе последних новостей о xio-sig, cuFile и Storage-Next.
07Технические детали и протоколы
Важно понимать техническую основу работы cuObject. Как показано в архитектурных схемах, протокол управления объектами работает поверх HTTPS/TCP, обеспечивая совместимость с существующей сетевой инфраструктурой и системами безопасности. Однако сами передачи данных происходят через RDMA. Это гибридный подход, который позволяет использовать преимущества современных сетей без необходимости полной замены сетевой инфраструктуры.
Для российских специалистов, работающих в условиях импортозамещения и необходимости оптимизации ресурсов, такая архитектура особенно привлекательна. Она позволяет максимизировать использование доступных вычислительных мощностей (GPU) и сетевых интерфейсов (ConnectX/BlueField), не завися от проприетарных решений поставщиков хранилищ. Локальный запуск и настройка SCADA-серверов могут быть адаптированы под различные корпоративные нужды, от обработки больших данных до работы с мультимедийными потоками.
08Что это значит на практике
Внедрение NVIDIA cuObject и SCADA Server SDK — это не просто техническое обновление, это сдвиг парадигмы в том, как мы проектируем AI-инфраструктуру. Для разработчиков AI это означает возможность создавать приложения, которые не ограничены скоростью дисковой подсистемы. Для архитекторов центров обработки данных это путь к снижению задержек и повышению эффективности использования GPU.
На практике это приводит к следующим результатам:
- Снижение стоимости владения (TCO): За счет снижения нагрузки на CPU и повышения эффективности использования GPU, компании могут обрабатывать больше данных на том же оборудовании.
- Ускорение времени выхода на рынок (Time-to-Market): Быстрый доступ к данным сокращает время обучения моделей и инференса, что критично в быстро меняющейся сфере AI.
- Интероперабельность: Открытые стандарты xio-sig и SCADA позволяют смешивать и сочетать решения от разных поставщиков, избегая вендор-лока.
Для инженеров в России и странах СНГ это также означает возможность участвовать в глобальных открытых стандартах, используя доступные инструменты NVIDIA. Изучение cuObject и SCADA становится важным навыком для специалистов, работающих на стыке AI, сетей и систем хранения данных. Следите за обновлениями в репозиториях xio-sig и документацией NVIDIA, чтобы быть в авангарде этой технологической революции.
Будущее AI-хранилищ — это будущее, где данные движутся со скоростью света, а вычислительные мощности используются на 100%. NVIDIA cuObject и SCADA — это первые шаги к этому будущему, и сейчас самое время начать изучать эти технологии.
Источник: NVIDIA Developer ↗