AIKraft Agents
Главная/Блог/Гайд/Ускорение интерферометрии черных дыр с…
Гайд11 мин чтения · 14 ноября 2026 г.

Ускорение интерферометрии черных дыр с NVIDIA cuPhoton

Как GPU-ускорение xBeam в NVIDIA cuPhoton сокращает время обработки данных Event Horizon Telescope с 9 часов до 70 секунд, открывая новые горизонты в астрофизике.

Ускорение интерферометрии черных дыр с NVIDIA cuPhoton

Наблюдение черных дыр — это одна из самых сложных задач в современной астрофизике. Эти объекты настолько далеки и малы на небе, что их прямое изображение кажется невозможным. Например, кольцо фотонного кольца M87* имеет угловой размер всего 42 микросекунды дуги. Поскольку сами черные дыры не излучают свет, телескопы фиксируют радиоизлучение сверхгорячего газа, вращающегося за пределами горизонта событий. Гравитация черной дыры искривляет пути этих фотонов, формируя яркое кольцо, обрамляющее центральную тень. Для решения этой задачи Event Horizon Telescope (EHT) объединяет 13 радиотелескопов по всему миру — от Гавайев и Чили до Испании, Мексики и Южного полюса — используя метод интерферометрии со сверхдлинной базой (VLBI). Однако обработка петабайтов данных, генерируемых этими обсерваториями, долгое время оставалась узким местом, ограничивающим скорость научных открытий.

Теперь ситуация меняется благодаря NVIDIA cuPhoton.xBeam — мощному инструменту для GPU-ускоренной корреляции радиointerferometry. Этот инструмент позволяет преобразовывать записи напряжений с телескопов в видимости (visibilities) на графических процессорах, что критически важно для последующей реконструкции изображений. В этой статье мы подробно разберем, как работает xBeam, почему он так значительно превосходит традиционные CPU-решения, и как исследователи могут использовать его для анализа данных следующего поколения EHT (ngEHT).

01Почему наблюдение черных дыр — это «обратная задача»

Чтобы понять масштаб вычислительной задачи, нужно рассмотреть природу данных, собираемых EHT. Телескопы записывают радиосигналы в двух поляризациях со скоростью до 64 гигабит в секунду на каждый телескоп. Корреляция сигналов между парами телескопов производит видимости, которые выборочно измеряют компоненты Фурье яркости неба. Из-за вращения Земли эти измерения образуют разреженные траектории в пространстве частот (так называемые (u, v)-траектории).

Поскольку физическая линза, формирующая изображение напрямую, отсутствует, алгоритмы реконструкции должны решать так называемую «обратную задачу». Они должны синтезировать картину из разреженных выборок. Для таких целей, как Sgr A* (сверхмассивная черная дыра в центре нашей Галактики), ситуация усложняется тем, что источник меняется во время сеанса наблюдения. Это требует от алгоритмов высокой адаптивности, так как многие методы предполагают статичность источника.

💡
Ключевой момент. Свет, проходящий рядом с черной дырой, может вращаться вокруг нее, прежде чем покинуть ее, формируя тонкое фотонное кольцо у края тени. Его размер и форма помогают ограничить массу, спин и угол наблюдения черной дыры. Будущие наблюдения ngEHT на частоте 345 ГГц смогут обнаружить его сигнатуру через поляризационные измерения.

Процесс реконструкции можно разделить на несколько этапов. Сначала данные интерферометрии (видимости) собираются. Затем они калибруются. Наконец, с помощью алгоритмов, таких как гауссово сплайстинг (Gaussian splatting), строится 3D-модель газа. Эта модель представляет собой множество компактных светящихся пятен, движущихся по орбитам вокруг вращающейся черной дыры, оптимизированных для соответствия наблюдаемым видимостям. Важно отметить, что cuPhoton.xBeam отвечает только за первый этап — корреляцию и подготовку данных, в то время как реконструкция изображения остается за пределами его функционала.

02Что вычисляет cuPhoton.xBeam

cuPhoton.xBeam — это FX-коррелятор в наборе инструментов cuPhoton. Его главная задача — структурировать записи телескопов так, чтобы их можно было читать параллельно, и выполнять вычисления на GPU. Процесс включает пять основных шагов, которые аналогичны работе классического CPU-коррелятора DiFX, но выполняются с огромным ускорением на графических процессорах.

1. Ингестия (Ingest)

Первый шаг — чтение кадров VDIF (Virtual Data Interface) и размещение каждого из них в правильном временном интервале. xBeam создает небольшой индексный файл (.vdix), который записывает местоположение каждого кадра без копирования самих данных. Это позволяет последующим чтениям мгновенно переходить к нужному месту. Индексация происходит по временной метке, потоку и физическому расположению. Если данные отсутствуют или недействительны, они явно отслеживаются, что предотвращает ошибки в дальнейшем анализе.

2. Коррекция задержки и fringe (Delay and Fringe)

На этом этапе образцы с каждого телескопа сдвигаются по задержке, указанной в модели задания, чтобы одна и та же волна фронт совпадала на всех станциях. Также устраняется фазовый дрейф, вызванный движением Земли. Коррекция задержки охватывает обе стороны быстрого преобразования Фурье (FFT). Целочисленное выравнивание образцов и вращение fringe происходят до каналирования; частотно-зависимая коррекция фазы обрабатывает оставшуюся дробную задержку образца после этого.

Задержка, применяемая xBeam, берется из файла задания. Она представляет собой сумму различных задержек: геометрической задержки (параметризованной полиномом времени вокруг опорного времени), задержки, возникающей из-за смещения и линейного дрейфа часов каждой станции, и фиксированного смещения часов для каждой полосы частот. Формула коррекции фазы выглядит следующим образом:

terminaltext
\varphi(t)=2\pi(-\nu_{\mathrm{ref}}\tau(t)+\nu_{\mathrm{LO}}t)

где \nu_{\mathrm{ref}} — опорная частота полосы, а \nu_{\mathrm{LO}} — частота локального генератора. xBeam не вычисляет задержки из положений станций; он использует задержки, предоставленные в файле задания. Также он не отслеживает пути света вокруг черной дыры — это задача downstream-алгоритмов.

3. Каналирование (Channelize)

xBeam выполняет FFT для каждого потока напряжений станции, разделяя его на частотные каналы. Это позволяет анализировать сигнал в частотной области, что необходимо для последующей интерференции.

4. Перекрестное умножение и накопление (Cross-multiply and Accumulate)

Для каждой пары станций спектр каждого канала одной станции умножается на комплексно-сопряженный спектр соответствующего канала другой станции. Продукты суммируются за время интеграции. Недействительные входные данные маскируются, а накопленные продукты нормализуются с использованием весов экспозиции, полученных из данных о валидности. Выбранный профиль обработки контролирует дополнительные правила приема и отчетности о весах.

5. Запись видимостей (Write visibilities)

Результат сохраняется в формате DiFX SWIN или в собственном формате xBeam-v1, в зависимости от запроса задания. Эти данные затем передаются в downstream-инструменты, такие как HOPS, rPICARD или eht-imaging, для калибровки и построения изображений.

03Производительность: от часов к секундам

Главное преимущество cuPhoton.xBeam — это колоссальное ускорение вычислений. В тестах на системе NVIDIA Vera Rubin NVL72, оснащенной 64 GPU и GPUDirect Storage (GDS) в режиме совместимости, xBeam обработал набор данных объемом 10 ТБ всего за 70 секунд. Для сравнения, базовая линия на x86 CPU потребовала 31 992 секунд (около 8,89 часов). Это означает ускорение в 460 раз.

Такая производительность достигается за счет нескольких факторов. Во-первых, использование GPU позволяет параллельно выполнять FFT, коррекцию фазы и перекрестное умножение. Во-вторых, GPUDirect Storage (cuFile) позволяет передавать данные напрямую с диска в память GPU, минуя процессор и снижая задержки ввода-вывода. В-третьих, архитектура xBeam оптимизирована для эффективного использования памяти и вычислительных ресурсов современных GPU.

⚠️
Важно. xBeam не восстанавливает пропущенные образцы. Если в записи есть разрывы, коррелятор назначает времена и веса последующим выборкам на основе политики буферизированного чтения. Полная заявленная весовая нагрузка не означает, что каждый временной интервал был записан.

04Как запустить xBeam: пошаговое руководство

Использование cuPhoton.xBeam относительно просто благодаря интеграции с командной строкой и Python. Ниже приведены основные шаги для запуска корреляции.

Шаг 1: Проверка записи

Перед запуском корреляции рекомендуется проверить заголовок записи VDIF. Это можно сделать с помощью команды inspect-vdif, которая считывает только заголовки:

terminalbash
cuphoton xbeam inspect-vdif RECORDING.vdif --json

VDIF-файлы могут содержать переплетенные потоки, пропущенные кадры или кадры, сохраненные в неправильном порядке временных меток. Поэтому перед корреляцией необходимо построить боковые файлы .vdix, чтобы xBeam мог находить запрошенные диапазоны временных меток без переписывания записей.

Шаг 2: Построение индекса .vdix

Индекс строится с помощью команды build-vdif-sidecar. По умолчанию используется cuFile, но если система не поддерживает GPUDirect Storage, можно указать бэкенд POSIX:

terminalbash
cuphoton xbeam build-vdif-sidecar RECORDING-*.vdif \
  --index-dir SIDECARS \
  --backend cufile \
  --devices 0,1,2,3

Шаг 3: Запуск корреляции

Для запуска корреляции на GPU используется команда correlate. Флаг --backend cupy выбирает путь GPU, а --vdif-io cufile выбирает путь ввода-вывода через GPUDirect Storage. Это режим, используемый в запусках на Vera Rubin, и он не требует дополнительных флагов:

terminalbash
cuphoton xbeam correlate JOB.json \
  --output RUN \
  --backend cupy \
  --vdif-io cufile \
  --scan SCAN_ID \
  --first-integration 0 \
  --integration-count N \
  --index-dir SIDECARS

Задание (JOB.json) содержит нормализованный JSON, схема версии 1, или поддерживаемый файл .input DiFX. Оно называет станции, часы, частоты, потоки данных VDIF, базовые линии и сканы. Указатель JOB.json должен указывать на записи. Каталог вывода должен быть новым. xBeam пишет видимости в формате задания, swin или xbeam-v1.

Шаг 4: Запуск из Python

Тот же самый job можно запустить из Python. Функция load_job возвращает тот же объект задания, что и командная строка. Функция correlate возвращает записи видимостей одну за другой:

terminalpython
from cuphoton.xbeam import CorrelationWindow, correlate, load_job

job = load_job("JOB.json")
window = CorrelationWindow("SCAN_ID", first_integration=0, integration_count=8)

for record in correlate(
    job,
    backend="cupy",
    window=window,
    index_dir="SIDECARS",
    vdif_io="cufile",
):
    spectrum = record.spectrum  # комплексные видимости для одного продукта базовой линии
cuPhoton.xBeam обрабатывает записи телескопов в видимости для последующей реконструкции изображений.
cuPhoton.xBeam обрабатывает записи телескопов в видимости для последующей реконструкции изображений.

05Масштабирование на несколько GPU и узлов

cuPhoton.xBeam масштабируется за счет разделения сканирования во времени между GPU. Каждый GPU коррелирует свой собственный временной интервал. На одном узле xBeam может запустить несколько GPU одновременно. На нескольких узлах каждый GPU запускает один кусок, называемый фрагментом (shard), и merge-shards объединяет частичные выходы SWIN.

Масштабирование на одном узле

Флаг --devices запускает один процесс коррелятора на каждый GPU, дает каждому свою долю интеграций, записывает результаты под RUN/shards/ и объединяет их:

terminalbash
cuphoton xbeam correlate JOB.json \
  --output RUN \
  --backend cupy \
  --vdif-io cufile \
  --scan SCAN_ID \
  --first-integration 0 \
  --integration-count N \
  --devices 0,1,2,3 \
  --index-dir SIDECARS

Масштабирование между узлами

Для распределения по узлам используются флаги --shard-count и --shard-index. Для 64 GPU используйте --shard-count 64 с индексами от 0 до 63. В следующей команде установите SHARDS=64 и установите SHARD на уникальный индекс для каждого процесса:

terminalbash
cuphoton xbeam correlate JOB.json \
  --output RUN/shard-$SHARD \
  --backend cupy \
  --vdif-io cufile \
  --scan SCAN_ID \
  --first-integration 0 \
  --integration-count N \
  --shard-count $SHARDS \
  --shard-index $SHARD \
  --index-dir SIDECARS

Когда каждый фрагмент завершит работу, объедините их в один набор видимостей. Перед копированием чего-либо слияние проверяет, что все фрагменты пришли из одного задания, что вместе они покрывают полный временной диапазон, и что их заголовки SWIN согласованы:

terminalbash
cuphoton xbeam merge-shards JOB.json RUN/shard-* \
  --output RUN/complete

Флаг --devices является ярлыком для одного узла. --shard-count и --shard-index с merge-shards — это путь между узлами. Оба запускают коррекцию задержки и фазы, FFT и перекрестное умножение на GPU.

Результат масштабирования xBeam на многонодовых GPU. На Vera Rubin NVL72 одна запись объемом 10 ТБ разделяется между 1 и 64 GPU на нескольких узлах, а фрагменты объединяются в один набор видимостей.
Результат масштабирования xBeam на многонодовых GPU. На Vera Rubin NVL72 одна запись объемом 10 ТБ разделяется между 1 и 64 GPU на нескольких узлах, а фрагменты объединяются в один набор видимостей.

06Роль ИИ-агентов в автоматизации

С развитием технологий искусственного интеллекта, ИИ-агенты могут играть ключевую роль в оркестровке конвейеров обработки данных. Они могут анализировать метаданные VDIF, генерировать спецификации заданий JSON, запускать корреляцию xBeam на кластерах GPU и контролировать выполнение. Это позволяет автоматизировать рутинные задачи и ускорить научные открытия.

Например, ИИ-агент может автоматически определять наличие пропущенных кадров в записи, выбирать оптимальный профиль обработки (например, interop-real-usb-buffered-window-replay-v1) и настраивать параметры масштабирования в зависимости от доступных ресурсов. Это особенно важно для ngEHT, где объем данных будет еще больше, а требования к скорости обработки — выше.

Обновленная иллюстрация процесса интерферометрии черных дыр с использованием GPU-ускорения.
Обновленная иллюстрация процесса интерферометрии черных дыр с использованием GPU-ускорения.

07Что это значит на практике

Внедрение NVIDIA cuPhoton.xBeam в астрофизические исследования имеет несколько важных практических последствий. Во-первых, оно значительно сокращает время между сбором данных и получением результатов. То, что раньше занимало дни или недели, теперь занимает часы или минуты. Это позволяет ученым быстрее реагировать на изменения в источниках, такие как вспышки или изменения в структуре аккреционного диска.

Во-вторых, ускорение обработки данных делает возможным анализ более крупных наборов данных, включая данные от ngEHT. Это откроет новые возможности для изучения черных дыр, включая измерение фотонных колец и проверку общей теории относительности в экстремальных условиях.

В-третьих, использование GPU-ускорения и GPUDirect Storage снижает энергопотребление и затраты на вычислительные ресурсы. Это делает научные исследования более устойчивыми и доступными.

Наконец, интеграция cuPhoton.xBeam с другими инструментами, такими как HOPS, rPICARD и eht-imaging, создает полную экосистему для обработки данных интерферометрии. Это упрощает рабочий процесс исследователей и позволяет им сосредоточиться на научных вопросах, а не на технических сложностях.

Иллюстрация спутниковых звезд, символизирующая глобальную сеть телескопов EHT.
Иллюстрация спутниковых звезд, символизирующая глобальную сеть телескопов EHT.

08Заключение

NVIDIA cuPhoton.xBeam представляет собой прорыв в области обработки данных радиointerferometry. Его способность ускорять корреляцию данных в 460 раз по сравнению с CPU-решениями открывает новые возможности для исследований черных дыр и других астрофизических объектов. Благодаря интеграции с GPUDirect Storage, поддержке масштабирования на нескольких узлах и простоте использования, xBeam становится незаменимым инструментом для современных астрономов. В сочетании с ИИ-агентами и другими downstream-алгоритмами, он формирует основу для будущих открытий в области астрофизики высоких энергий.

Исследователям рекомендуется изучить репозиторий NVIDIA cuPhoton для получения модулей成像, xBeam и примеров записей с файлами заданий. Также полезно ознакомиться с руководством по ускорению научного анализа изображений с помощью NVIDIA cuPhoton и страницей продукта NVIDIA cuPhoton для получения дополнительных ресурсов и примеров.

Источник: NVIDIA Developer ↗