AIKraft Agents
Инструменты19 ноября 2026 г., 23:30 МСК🤖 Auto

NVIDIA Dynamo: ускорение RL-обучения за счет умного роутинга и ModelExpress

NVIDIA представила Dynamo — слой обслуживания для распределенного генеративного вывода (rollout) в обучении с подкреплением. Технология снижает задержки на 20% и экономит GPU-часы за счет KV-aware роутинга и передачи дельта-весов.

Баннер новости 12328

Проблема узких мест в RL-обучении

Обучение с подкреплением (RL) требует непрерывного цикла: генерация выборок (rollouts), присвоение наград, обновление весов. При масштабировании возникают три критических ограничения:

  • Время завершения rollout: Медленнейший запрос в группе задерживает весь шаг обучения. Равномерное распределение запросов не гарантирует равномерной нагрузки из-за разной сложности задач (например, код-агенты требуют больше шагов, чем простые ответы).
  • Повторный контекст: Множественные попытки решения одной задачи используют одинаковые промпты. Повторное вычисление префиксов (KV-cache) тратит ресурсы GPU.
  • Свежесть весов: Работники должны получать обновленные веса модели вовремя, чтобы выборки были пригодны для обучения, но без лишних простоев.

Архитектура NVIDIA Dynamo

Dynamo действует как прослойка между оркестратором RL и инференс-движками. Он не заменяет фреймворк обучения, а оптимизирует инфраструктуру обслуживания. Ключевые компоненты:

  • RL Framework: Оптимизация, награды, чекпоинты.
  • Dynamo: Роутинг запросов, управление работниками, телеметрия.
  • Inference Engine: Генерация и применение весов.
  • ModelExpress: Распределение весов и артефактов.

Технологические решения: Роутинг и ModelExpress

Для устранения задержек NVIDIA внедрила две ключевые технологии:

1. KV-aware Routing (Роутинг, aware кеша)

Маршрутизатор Dynamo балансирует между повторным использованием KV-кэша и нагрузкой на воркеры. Если запрос содержит тот же контекст, что и предыдущий, он направляется к воркеру, уже имеющему этот кэш. Это избегает повторных вычислений, но предотвращает очереди, распределяя нагрузку оптимально.

2. ModelExpress: Передача дельта-весов

Вместо отправки полных чекпоинтов (что занимает время и прерывает генерацию), ModelExpress использует два механизма:

  • Прямое копирование: Совместимые воркеры копируют веса напрямую с GPU другого работающего узла через NIXL, минуя удаленное хранилище.
  • Дельта-передача: Отправляется только сжатое представление изменений. Рабочий узел реконструирует новые веса из базовой версии, что резко снижает трафик в сети и время обновления.

Результаты внедрения и метрики

Пилотные проекты с участием крупных игроков рынка показали значительное улучшение эффективности:

Компания / Проект Решение Результат
H Company Dynamo + ModelExpress Снижение времени шага обучения до 20%, экономия GPU-часов до 5%
CoreWeare ModelExpress Ускорение обновления весов модели до 15x
Cognition Dynamo Успешное управление инференсом при пост-обучении SWE-1.7
Microsoft AI Dynamo Поддержка инференса для rollout при пост-обучении

Интеграция и доступность

NVIDIA Dynamo интегрируется с популярными open-source RL-стеками, включая verl, NeMo RL, Slime и prime-rl. Система также включает механизмы восстановления: при отказе воркера запросы перенаправляются на здоровые узлы, а новые воркеры догоняют процесс, загружая чекпоинты и дельта-обновления.

Источник: NVIDIA dev blog ↗