Проблема узких мест в RL-обучении
Обучение с подкреплением (RL) требует непрерывного цикла: генерация выборок (rollouts), присвоение наград, обновление весов. При масштабировании возникают три критических ограничения:
- Время завершения rollout: Медленнейший запрос в группе задерживает весь шаг обучения. Равномерное распределение запросов не гарантирует равномерной нагрузки из-за разной сложности задач (например, код-агенты требуют больше шагов, чем простые ответы).
- Повторный контекст: Множественные попытки решения одной задачи используют одинаковые промпты. Повторное вычисление префиксов (KV-cache) тратит ресурсы GPU.
- Свежесть весов: Работники должны получать обновленные веса модели вовремя, чтобы выборки были пригодны для обучения, но без лишних простоев.
Архитектура NVIDIA Dynamo
Dynamo действует как прослойка между оркестратором RL и инференс-движками. Он не заменяет фреймворк обучения, а оптимизирует инфраструктуру обслуживания. Ключевые компоненты:
- RL Framework: Оптимизация, награды, чекпоинты.
- Dynamo: Роутинг запросов, управление работниками, телеметрия.
- Inference Engine: Генерация и применение весов.
- ModelExpress: Распределение весов и артефактов.
Технологические решения: Роутинг и ModelExpress
Для устранения задержек NVIDIA внедрила две ключевые технологии:
1. KV-aware Routing (Роутинг, aware кеша)
Маршрутизатор Dynamo балансирует между повторным использованием KV-кэша и нагрузкой на воркеры. Если запрос содержит тот же контекст, что и предыдущий, он направляется к воркеру, уже имеющему этот кэш. Это избегает повторных вычислений, но предотвращает очереди, распределяя нагрузку оптимально.
2. ModelExpress: Передача дельта-весов
Вместо отправки полных чекпоинтов (что занимает время и прерывает генерацию), ModelExpress использует два механизма:
- Прямое копирование: Совместимые воркеры копируют веса напрямую с GPU другого работающего узла через NIXL, минуя удаленное хранилище.
- Дельта-передача: Отправляется только сжатое представление изменений. Рабочий узел реконструирует новые веса из базовой версии, что резко снижает трафик в сети и время обновления.
Результаты внедрения и метрики
Пилотные проекты с участием крупных игроков рынка показали значительное улучшение эффективности:
| Компания / Проект | Решение | Результат |
|---|---|---|
| H Company | Dynamo + ModelExpress | Снижение времени шага обучения до 20%, экономия GPU-часов до 5% |
| CoreWeare | ModelExpress | Ускорение обновления весов модели до 15x |
| Cognition | Dynamo | Успешное управление инференсом при пост-обучении SWE-1.7 |
| Microsoft AI | Dynamo | Поддержка инференса для rollout при пост-обучении |
Интеграция и доступность
NVIDIA Dynamo интегрируется с популярными open-source RL-стеками, включая verl, NeMo RL, Slime и prime-rl. Система также включает механизмы восстановления: при отказе воркера запросы перенаправляются на здоровые узлы, а новые воркеры догоняют процесс, загружая чекпоинты и дельта-обновления.
Источник: NVIDIA dev blog ↗
