Проблема «узкого горлышка» в сборе данных
Современные научные установки, такие как LCLS-II (частота импульсов 1 МГц), и промышленное оборудование генерируют объемы данных, которые не успевают обрабатываться традиционной архитектурой «сбор-хранение-анализ». Ограничением становится не отсутствие данных, а пропускная способность каналов передачи и задержки при их обработке. NVIDIA решает эту проблему через платформу Holoscan и новую библиотеку DAQIRI (Data Acquisition for Integrated Real-time Instruments).
Техническая суть: Kernel Bypass и Zero-Copy
DAQIRI работает как высокопроизводительная сетевая библиотека, которая полностью обходит операционную систему Linux. Используя фреймворк DPDK (Data Plane Development Kit), она маршрутизирует данные напрямую от сетевой карты ConnectX в буферы DMA (Direct Memory Access) GPU. Это устраняет накладные расходы на копирование памяти и снижает задержку до времени транзита PCIe.
Ключевые технические характеристики:
- Пропускная способность: Line rate на интерфейсах 100+ Гбит/с.
- Протоколы: Поддержка UDP и RoCE v2.
- Интеграция: Прямая связь с TensorRT (инференс), nvCOMP (сжатие) и Holoscan.
- API: C++ и Python с конфигурацией через YAML.
Реальный кейс: Проект A-GHOST в CERN
Наиболее показательным примером использования стала интеграция с проектом A-GHOST в Европейском центре ядерных исследований (CERN). В рамках модернизации Большого адронного коллайдера (HL-LHC) пропускная способность детектора ATLAS будет увеличена до 1 МГц после первого этапа отбора и 10 кГц после второго. Это означает, что более 99% всех столкновений частиц отбрасываются системой онлайн-фильтрации.
DAQIRI позволяет подключить FPGA-оборудование детектора напрямую к ферме GPU. Это дает возможность применять мощные модели ИИ (сверточные автоэнкодеры, трансформеры) к полному потоку данных в реальном времени, делая «неподдающиеся сохранению» данные доступными для анализа.
Сравнение подходов к обработке данных
| Параметр | Традиционный подход | Архитектура NVIDIA DAQIRI |
|---|---|---|
| Путь данных | Датчик → Сеть → Ядро ОС → Память → GPU | Датчик → Сеть (DPDK) → DMA GPU (Zero-Copy) |
| Задержка | Высокая (накопление очередей ОС) | Минимальная (только время транзита PCIe) |
| Обработка | Постфактум (после сохранения на диск) | В реальном времени (in-stream) |
| Потеря данных | Высокая (отбрасывание при нехватке места/пропускной способности) | Минимальная (фильтрация и инференс на лету) |
Аппаратная совместимость
Решение масштабируется от компактных решений до серверных стоек. Поддерживаемые платформы включают NVIDIA DGX Spark, IGX Platform, RTX Pro Server и VR200. Разработчики могут использовать готовые YAML-конфигурации для настройки сетевых интерфейсов, фильтрации пакетов и маппинга на конкретные GPU, что позволяет интегрировать ИИ-инференс в существующие научные инструменты без их аппаратной переработки.
Источник: NVIDIA dev blog ↗