В мире современной науки и промышленности скорость анализа данных становится критическим фактором успеха. Представьте себе эксперимент, где искусственный интеллект не просто анализирует результаты постфактум, а в реальном времени корректирует параметры установки, ищет оптимальные режимы работы или направляет луч микроскопа на интересующую область. Однако на практике такие сценарии часто упираются в «узкое горлышко» передачи данных: измерительные данные должны быть сначала записаны на диск, а затем загружены в память для обработки. Это вносит задержки и ограничивает возможности приборов.
Что если бы обработка могла идти в ногу с сенсорами? Именно эту задачу решает NVIDIA DAQIRI — программно-определяемая библиотека сбора данных, которая перемещает данные с высокоскоростных датчиков непосредственно в рабочие процессы, готовые к обработке на GPU. В этой статье мы подробно разберем, как новая архитектура сбора данных меняет подход к проектированию научных инструментов, на примере электронного микроскопа с разрешением более 500 Гбит/с, и рассмотрим технические новинки последнего релиза DAQIRI, включая аппаратное переупорядочивание пакетов и режим прямого опроса с задержкой всего 2–4 микросекунды.
Рис. 1. Спектроскопия потерь энергии электронами (EELS) — метод, требующий обработки огромных объемов данных в реальном времени.
01Кейс: Высокодинамичная электронная микроскопия и GPU-обработка
Ярким примером того, что становится возможным при совместном проектировании детекторов и GPU-вычислений, является камера электронной микроскопии, разработанная в Лаборатории Лоуренса Беркли (Lawrence Berkeley National Laboratory, LBNL) в рамках программы Molecular Foundry. Этот проект иллюстрирует фундаментальный сдвиг в парадигме научных измерений.
Традиционная спектроскопия потерь энергии электронами (EELS) измеряет, сколько энергии теряют электроны при взаимодействии с образцом. Это позволяет ученым определять химический состав и тип связей между атомами. Проблема в том, что такие измерения содержат как очень сильные, так и очень слабые сигналы. Для их захвата традиционный подход требует двух отдельных процессов экспозиции, выполняемых последовательно с высокой точностью синхронизации. Это усложняет оптику микроскопа и требует сложной последующей обработки для совмещения кадров.
Новая камера с высоким динамическим диапазоном, разработанная в LBNL, захватывает сильные и слабые сигналы одновременно. Это упрощает экспериментальную установку, но создает колоссальный поток данных — более 500 гигабит в секунду (Gbps). Для сравнения, это более чем в 500 раз быстрее, чем потоки данных в традиционных системах EELS. Такой объем данных бесполезен, если его нельзя обработать во время самого эксперимента.

Рис. 2. Исследователи Berkeley Lab изучают аппаратную часть рядом с электронным микроскопом, используемым в GPU-ускоренном рабочем процессе EELS.
Здесь на помощь приходит связка камеры, библиотеки DAQIRI и GPU-вычислений. Электроника считывания на базе FPGA передает данные детектора по Ethernet. DAQIRI принимает эти пакеты напрямую в память GPU, минуя этап записи на диск или промежуточного буферизирования в CPU. Затем GPU-процессы собирают кадры, корректируют их и сводят к спектрам потерь энергии. Более того, вычисления улучшают пространственную информацию, позволяя получить субмикронное разрешение из пикселей сенсора размером 5 микрометров. Это дает возможность инспектировать данные прямо во время измерения и в реальном времени корректировать параметры сбора.

Рис. 3. Рабочий процесс измерения EELS в Berkeley Lab: данные поступают напрямую в память GPU, откуда приложения могут обрабатывать их, пока эксперимент еще идет.
02Проектирование путей сбора данных для интеллектуальных приборов
Преимущества подключения сенсоров к GPU-обработке выходят далеко за рамки электронной микроскопии. Они позволяют извлекать больше информации из измерений и дают производителям приборов гибкость в том, как они собирают, анализируют и реагируют на данные. Однако для реализации этих преимуществ необходимы три ключевых компонента: эффективное перемещение данных, упорядоченные полезные нагрузки, готовые к обработке, и низкая задержка связи для систем обратной связи.
Последний релиз NVIDIA DAQIRI добавляет три критически важных функции, решающих эти задачи: аппаратное переупорядочивание пакетов, оптимизированный бэкенд библиотеки для повышения пропускной способности и режим прямого опроса для передачи и приема пакетов с минимальной задержкой.
Переупорядочивание данных на лету с помощью аппаратного обеспечения NIC
В большинстве сетевых протоколов обработка пакетов, пришедших не по порядку, или буферизация на стороне приема добавляют задержки и потребляют ресурсы памяти. DAQIRI теперь может делегировать задачи переупорядочивания пакетов поддерживаемым сетевым интерфейсным картам (NIC) NVIDIA ConnectX-7 или новее. Это освобождает ресурсы CPU и GPU для непосредственно анализа данных.
Для совместимых форматов последовательности NIC самостоятельно парсит поля последовательности и помещает каждую полезную нагрузку непосредственно в ее упорядоченную позицию в памяти. Приложение получает уже собранные и упорядоченные данные, без необходимости выполнять отдельный шаг программного переупорядочивания с копированием.
Аппаратное переупорядочивание настраивается для конкретной очереди приема. Конфигурация определяет, как парсить номер последовательности из заголовка пакета, какой метод переупорядочивания использовать и как обрабатывать пропущенные пакеты.
- name: "rx_reorder_seq_1024"
reorder_engine: "hw" # NIC places payloads in order
cyclic_sequence: true # Confirm compatible cyclic numbering
missing_action: “drop” # Drop partial batches on RX timeout
reorder_type: "gpu" # Deliver packets to GPU memory
memory_region: "Reorder_RX_GPU"
payload_byte_offset: 42 # Skip 42-byte Ethernet/IPv4/UDP header
packet_size: 8192 # Payload bytes per output slot
flow_ids: [201] # Apply reorder to RX flow 201
method:
seq_packets_per_batch: # Reorder by one sequence field
sequence_number:
bit_offset: 336 # Sequence starts at bit 336
bit_width: 32 # 32-bit sequence field
packets_per_batch: 1024 # 1024 packets per output bufferИспользование движка ibverbs для эффективного сбора данных
DAQIRI представляет движок ibverbs для высокоскоростного приема и передачи сырых Ethernet-пакетов. Построенный на базе libibverbs и NVIDIA DevX, этот движок выбирается по умолчанию для потоков сырого Ethernet. Разработчики также могут выбрать его явно, добавив engine: "ibverbs" в конфигурацию DAQIRI, не меняя при этом способ использования API приложения.
Снижая накладные расходы CPU на каждый пакет, движок ibverbs обеспечивает примерно вдвое большую пропускную способность на ядро по сравнению с предыдущим движком по умолчанию DPDK при малых размерах пакетов (до 1024 байт) и экстремальных скоростях данных (более 200 Гбит/с). Эти результаты были получены в ходе тестов на платформах NVIDIA DGX Spark, NVIDIA IGX Thor и серверах NVIDIA RTX PRO.
Рис. 4. Сравнение производительности движка ibverbs и DPDK. Движок ibverbs почти удваивает пропускную способность для пакетов размером 64 и 256 байт, сохраняя сопоставимую производительность для пакетов 8 КБ.
Снижение задержки обратной связи с помощью прямого опроса
Интеллектуальные приборы часто требуют чувствительной к задержке обратной связи от GPU-анализа для корректировки параметров сбора или управления настройками. Режим прямого опроса (direct polling) в DAQIRI снижает задержку связи, позволяя потоку приложения напрямую принимать и отправлять пакеты, исключая передачу управления отдельному рабочему процессу ввода-вывода.
В тестах с кабельной петлей (cabled loopback) задержка от отправки до приема на уровне приложения в режиме прямого опроса составила порядка 2–4 микросекунд. При использовании движка ibverbs разработчики могут выбрать прямой опрос для контрольных очередей, сохраняя пакетную обработку для высокоскоростных потоков данных.
Чтобы активировать этот режим, необходимо установить poll_mode: "direct" для чувствительных к задержке очередей передачи и приема:
# TX/RX queue settings in example configuration file
tx:
queues:
- name: "control_tx"
id: 0
poll_mode: "direct" # App thread submits packets
memory_regions: ["Control_TX"]
rx:
queues:
- name: "control_rx"
id: 0
poll_mode: "direct" # App thread polls received packets
memory_regions: ["Control_RX"]Для проверки задержки можно запустить бенчмарк прямого опроса, используя кабельную петлю между портами TX и RX на одном хосте. Перед запуском замените адреса оборудования и другие системные настройки в конфигурации на значения, соответствующие вашей системе:
sudo ./build/examples/daqiri_bench_raw_latency \
examples/daqiri_bench_raw_latency_ibverbs.yaml \
--samples 10000 --warmup 1000 --csv latency.csv
Рис. 5. Результаты бенчмарков задержки в режиме прямого опроса, демонстрирующие микросекундный уровень отклика.
03Гибридные архитектуры и будущее научных вычислений
Хотя основной фокус статьи — это сбор данных, стоит упомянуть более широкий контекст. GPU-нативный сбор данных является частью более крупной тенденции к гибридным архитектурам, где классические вычисления, GPU-ускорение и даже квантовые элементы работают в тандеме. Способность быстро получать данные с сенсоров и мгновенно реагировать на них открывает двери для сложных систем управления, где AI-модели могут динамически перестраивать эксперимент.

Рис. 6. Схема гибридной квантово-классической архитектуры вычислений, где быстрый сбор данных играет ключевую роль в интеграции различных вычислительных узлов.
Для существующих приборов с поддержкой Ethernet это открывает возможности для добавления функций обработки и обратной связи без полной замены оборудования. Для новых приборов это позволяет пересмотреть ограничения сбора данных с самого начала проектирования. Вместо того чтобы проектировать электронику считывания вокруг ограничений дисковой записи, инженеры могут проектировать ее вокруг возможностей GPU-платформ.
04Что это значит на практике
Внедрение GPU-нативного сбора данных через NVIDIA DAQIRI меняет парадигму работы с научными инструментами. Вот ключевые выводы для инженеров и исследователей:
- Скорость важнее объема: Возможность обрабатывать данные со скоростью 500+ Гбит/с в реальном времени позволяет использовать детекторы с более высоким разрешением и динамическим диапазоном, не боясь «потерять» данные из-за задержек ввода-вывода.
- Снижение сложности системы: Аппаратное переупорядочивание пакетов и движок ibverbs снижают нагрузку на CPU, позволяя использовать более компактные и энергоэффективные платформы для управления приборами.
- Микросекундная обратная связь: Задержка в 2–4 микросекунды делает возможным создание систем активного управления, где AI может корректировать параметры эксперимента в реальном времени, а не постфактум.
- Доступность для разработчиков: DAQIRI предоставляет готовые конфигурации и бенчмарки, что снижает порог входа для интеграции GPU-обработки в существующие научные установки.
Для тех, кто хочет начать работу с этими технологиями, рекомендуется изучить документацию DAQIRI, рассмотреть примеры конфигураций для конкретного оборудования и запустить бенчмарки для оценки пропускной способности и задержек на вашей платформе. Это первый шаг к созданию научных инструментов нового поколения, где данные не просто хранятся, а мгновенно превращаются в знания.
Источник: NVIDIA Developer ↗
