Прорыв в скорости: от 500 Гбит/с к реальному времени
Ключевая проблема современных научных инструментов — задержка между сбором данных и их обработкой. NVIDIA решает её через библиотеку DAQIRI (Data Acquisition for Real-time Inference), часть платформы Holoscan. Она позволяет передавать пакеты данных с датчиков напрямую в память GPU, минуя диск и CPU-буферы.
Яркий пример — камера электронной микроскопии с высоким динамическим диапазоном, разработанная в Lawrence Berkeley National Laboratory (Molecular Foundry). Она генерирует поток данных более 500 Гбит/с (в 500 раз быстрее традиционных систем EELS). Благодаря DAQIRI данные собираются, корректируются и преобразуются в спектры потерь энергии прямо во время эксперимента, что позволяет ученым корректировать параметры в реальном времени.
Новые функции DAQIRI: Аппаратное упорядочивание и низкая задержка
Последнее обновление библиотеки вводит критически важные улучшения для высокоскоростных сетей:
- Аппаратное упорядочивание пакетов: Задача сортировки пакетов перенесена на сетевые карты NVIDIA ConnectX-7 и новее. Это освобождает ресурсы CPU и GPU, так как NIC (сетевая карта) сама размещает полезную нагрузку в нужном порядке в памяти.
- Директивный опрос (Direct Polling): Новый режим демонстрирует задержку отправки до получения ответа на уровне 2–4 мкс, что критично для систем обратной связи.
- Движок ibverbs: Оптимизированный бэкенд на базе libibverbs и NVIDIA DevX, который почти удваивает пропускную способность на ядро при работе с маленькими пакетами.
Технические характеристики и сравнение подходов
Сравнение традиционного подхода и новой архитектуры NVIDIA DAQIRI показывает радикальное изменение в обработке данных:
| Параметр | Традиционный подход | NVIDIA DAQIRI (GPU-Native) |
|---|---|---|
| Поток данных (EELS) | ~1 Гбит/с (усредненно) | >500 Гбит/с |
| Путь данных | Датчик → CPU → RAM → Диск → GPU | Датчик → NIC → GPU Memory |
| Задержка (Latency) | Миллисекунды/секунды (I/O bottleneck) | 2–4 мкс (Direct Polling) |
| Упорядочивание пакетов | Программное (CPU overhead) | Аппаратное (ConnectX-7+) |
| Анализ | Постфактум (после записи) | В реальном времени (in-flight) |
Почему это важно для индустрии
Архитектура «GPU-native data acquisition» меняет парадигму проектирования научных приборов. Инженеры больше не обязаны ограничивать скорость детекторов из-за медленных каналов передачи данных. Это открывает путь к:
- Автоматизации экспериментов: AI-модели могут мгновенно анализировать данные и корректировать настройки микроскопа или другого оборудования.
- Сжатию данных на лету: Важная информация извлекается до того, как система будет перегружена хранением.
- Новым типам сенсоров: Появление детекторов, которые изначально создаются с расчетом на гигабитные скорости передачи.
Разработчики могут начать работу с библиотекой, изучив документацию DAQIRI и запустив бенчмарки для оценки пропускной способности на своей платформе.
Источник: NVIDIA dev blog ↗
