Масштабирование памяти и запуск Frontier-моделей
На конференции GTC Berlin NVIDIA анонсировала официальную поддержку кластеров из восьми узлов DGX Spark. Ключевое преимущество — суммарная унифицированная память объемом 1 ТБ (8 × 128 ГБ). Это открывает доступ к моделям, которые ранее не помещались в память даже четырехузловых систем. В качестве примера приведен запуск модели GLM 5.3 (753B) от Z.ai в квантованном формате NVFP4 (объем ~470 ГБ). Система обеспечивает интерактивную генерацию со скоростью около 80 токенов в секунду, что достаточно для локальной разработки с моделями класса Frontier.
Новый коллективный бэкенд ROCEnante
Для оптимизации коммуникации в кластерах с коммутаторами (switch-connected) NVIDIA представила бэкенд ROCEnante в составе FlashInfer. Он заменяет традиционный ring all-reduce на алгоритм all-to-all с локальным редукцией, что снижает задержки для небольших сообщений. На кластере из 8 узлов с моделью Qwen3.8-27B-NVFP4 ROCEnante дает ускорение в 4.43x по сравнению с 3.05x без него, что на 45% эффективнее масштабируется. Бэкенд автоматически откатывается к NCCL, если тест запуска не проходит.
Сравнение топологий и производительности
Тестирование модели Qwen3.8-27B (NVFP4) показало значительный рост пропускной способности декодирования (Decode) при увеличении числа узлов. Ниже приведены метрики масштабирования в зависимости от топологии соединения:
| Количество узлов | Топология | Prefill (TPS) | Decode (TPS) | Масштабирование Decode |
|---|---|---|---|---|
| 2 | Direct connect | 2,635 | 11.86 | 1.00x |
| 4 | Physical ring | 4,446 | 32.82 | 2.77x |
| 4 | Switch (ROCEnante) | 4,556 | 36.34 | 3.06x |
| 8 | Physical ring | 4,962 | 40.11 | 3.38x |
| 8 | Switch (ROCEnante) | 5,105 | 52.58 | 4.43x |
Результаты показывают, что для простых задач на 4 узлах выгодна топология Physical ring (без коммутатора), так как она дешевле и проще в настройке. Однако для кластеров из 8 узлов, разделения на группы или работы с паттернами all-to-all необходим Switch (коммутатор), обеспечивающий прямое соединение между всеми узлами.
Оркестрация через NeMo Switchyard
Для повышения общей эффективности кластера NVIDIA рекомендует использовать NeMo Switchyard. Эта технология позволяет маршрутизировать запросы: легкие задачи обрабатываются быстрыми малыми моделями, а сложные — крупными моделями (например, GLM-5.3). Легкий классификатор анализирует запрос и распределяет нагрузку, что существенно увеличивает агрегатную пропускную способность системы.
Что это значит для разработчиков
Поддержка 8-узловых кластеров в NVIDIA Sync ожидается до конца года. Это делает DGX Spark полноценным решением для локального обучения (pre-training) и инференса моделей с сотнями миллиардов параметров, ранее доступных только через облачные API. Для настройки кластера NVIDIA опубликовала руководство, начиная с двухузловой конфигурации.
Источник: NVIDIA dev blog ↗