AIKraft Agents
Главная/Блог/Гайд/Agent Substrate: Революция в управлении…
Гайд12 мин чтения · 10 ноября 2026 г.

Agent Substrate: Революция в управлении агентами на Kubernetes

Как NVIDIA Agent Substrate решает проблему простоя AI-агентов, объединяя Kubernetes, Dynamo и KAI Scheduler для масштабируемой работы миллионов сессий.

Agent Substrate: Революция в управлении агентами на Kubernetes

Представьте себе сценарий, который знаком каждому, кто хоть раз разрабатывал или эксплуатировал системы на базе больших языковых моделей (LLM): AI-агент просыпается, выполняет одно действие — например, запускает команду в терминале, редактирует файл или делает запрос к базе данных — и затем засыпает. Он ждет ответа от человека, результата внешнего инструмента или, что чаще всего, ответа от самой модели. В этот момент инфраструктура, на которой работает агент, находится в состоянии простоя. Память занята, ресурсы выделены, но полезной работы не ведется. Это классическая проблема «холодного старта» и неэффективного использования ресурсов, с которой традиционный Kubernetes борется уже много лет, но так и не нашел элегантного решения для агентов.

Стандартный подход к развертыванию сервисов в Kubernetes предполагает запуск подов (Pods), которые живут долго и обрабатывают множество запросов. Но агенты работают иначе: они состоят из коротких, интенсивных всплесков активности, разделенных периодами ожидания. Если запускать отдельный под для каждой сессии агента, мы платим за простаивающую память. Если уничтожать поды между шагами, мы платим за многократные холодные старты, которые занимают секунды — время, которого у агента просто нет. NVIDIA предлагает решение этой дилеммы через проект Agent Substrate, открытый в рамках CNCF Sandbox, который кардинально меняет парадигму управления состоянием агентов в контейнеризованных средах.

Визуализация концепции мультиплексирования сессий агентов на пуле рабочих подов Kubernetes.
Визуализация концепции мультиплексирования сессий агентов на пуле рабочих подов Kubernetes.

01Почему Kubernetes не подходит для агентов «из коробки»

Чтобы понять ценность Agent Substrate, нужно сначала осознать фундаментальное несоответствие между архитектурой Kubernetes и поведением AI-агентов. Традиционные веб-сервисы работают как длинные процессы: они запускаются один раз и обрабатывают тысячи запросов в секунду в течение недель или месяцев. Агент же ведет себя как прерывистый исполнитель. Он просыпается, делает один шаг (shell-команда, вызов API, редактирование файла), а затем переходит в режим ожидания. Это ожидание может длиться от миллисекунд до минут.

Проблема заключается в том, что состояние агента — его файловая система, процессы, рабочая директория, загруженные библиотеки — должно сохраняться между этими шагами. В мире Kubernetes это означает, что под должен оставаться живым. Но если у вас есть тысячи агентов, каждый из которых ждет своего хода, вы оказываетесь в тупике. Либо вы держите тысячи подов «теплыми» (warm), тратя огромные объемы памяти и CPU на простои, либо вы уничтожаете поды после каждого шага, чтобы сэкономить ресурсы, но тогда каждый новый шаг требует создания нового пода. Создание пода в Kubernetes — это сложный процесс, включающий взаимодействие с API-сервером, проверку прав (admission), запись в etcd, планирование, запуск kubelet, загрузку образов и настройку сети. Этот процесс занимает секунды. Для сервиса, который работает неделями, это приемлемо. Для агента, которому нужно выполнить команду bash за 10 миллисекунд, это катастрофа.

Сравнение паттернов нагрузки традиционных веб-сервисов и AI-агентов.
Сравнение паттернов нагрузки традиционных веб-сервисов и AI-агентов.

Платформенные команды оказываются перед выбором: либо платить за неэффективность, либо мириться с задержками. Agent Substrate ломает эту дихотомию, предлагая механизм мультиплексирования. Вместо того чтобы выделять один под на один агент, Substrate создает пул «теплых» рабочих подов (worker Pods). Агенты (акторы) маппятся на этот меньший пул. Когда агент переходит в состояние ожидания, его состояние (память и файловая система) сохраняется в чекпоинт, а рабочий под освобождается для другого агента. Когда следующий запрос приходит, агент восстанавливается на любом свободном рабочем поде с полным сохранением состояния. Это позволяет запускать миллионы агентов с плотностью, в 10 раз превышающей стандартные контейнерные решения, без потери состояния и с минимальными задержками.

02Три ключевых сценария использования

Agent Substrate не является универсальным решением для всех задач, но он идеально заточен под три конкретных типа рабочих нагрузок, которые доминировали в разработке запросов к проекту. Понимание этих сценариев помогает оценить, где именно этот инструмент принесет максимальную пользу.

1. Помощники по написанию кода (Coding Assistants)

Это, пожалуй, самый очевидный сценарий. Кодовый агент чередует вызовы к LLM с действиями в своей среде: клонирование репозитория, редактирование файлов, запуск билдов и тестов. Пользователь ожидает, что среда будет сохраняться между ходами (чтобы не клонировать репозиторий заново каждый раз) и что отклик будет мгновенным. Платформа, обслуживающая тысячи таких сессий одновременно, не может позволить себе держать отдельный «теплый» песочницу для каждого пользователя. Agent Substrate позволяет мультиплексировать эти сессии, сохраняя состояние каждого разработчика в чекпоинтах и восстанавливая их на доступных ресурсах по требованию.

2. Пост-обучение с подкреплением (RL Post-Training)

В задачах обучения с подкреплением (Reinforcement Learning) с верифицируемыми наградами используются GPU-тренажеры и серверы генерации, которые работают в связке с флотом сред, требующих высокой нагрузки на CPU. Эти среды — кодовые песочницы, компиляторы, браузеры или симуляторы — выполняют действия агентов и проверяют результаты. Спрос на такие песочницы приходит волнами: когда пакет действий (rollout batch) отправляется, одновременно активируются сотни или тысячи сред. Самая медленная среда определяет, когда тренажер получит следующую порцию данных. Если среда запускается с «холодным стартом», GPU-тренажер остается простаивать, ожидая данных. Agent Substrate устраняет эту задержку, позволяя быстро восстанавливать состояния сред на доступных CPU-узлах, обеспечивая непрерывный поток данных для GPU.

3. GPU-песочницы для исследований

Исследователям часто нужны GPU не для обслуживания моделей, а для компиляции CUDA-кода, бенчмаркинга ядер или запуска численных расчетов. Они запускают GPU-песочницу на общем кластере, выполняют задачу и удаляют песочницу. Поддержка такого подхода в масштабах организации требует множества короткоживущих, изолированных GPU-песочниц, которые запускаются быстро и справедливо распределяют ограниченный пул GPU. Agent Substrate, интегрированный с Dynamic Resource Allocation (DRA) Kubernetes, позволяет гибко выделять GPU-ресурсы внутри песочниц, обеспечивая изоляцию и быстрое восстановление состояния даже при работе с аппаратными спецификациями.

03Вклад в открытый исходный код: Что уже реализовано

Agent Substrate не просто проприетарное решение NVIDIA; это проект, переданный в CNCF Sandbox, с активным вкладом в upstream. Разработчики открыли исходный код ключевых функций, которые решают специфические проблемы масштабирования. Рассмотрим основные из них.

Парковка запросов (Request Parking)

В перегруженной системе, например, когда платформа помощников по коду находится на пиковой нагрузке, следующий ход пользователя может прийти в момент, когда все рабочие поды заняты. Раньше Agent Substrate возвращал ошибку. Теперь, благодаря функции «парковки запросов» (запрос #221), система удерживает запрос и повторяет попытку восстановления, пока не освободится рабочий под. Это ограничивает время ожидания и устанавливает лимит на количество одновременно ожидающих запросов. Дополнительное улучшение (#1229) гарантирует, что запросы к уже запущенным агентам не застревают в этой очереди, обеспечивая приоритет для активных сессий.

Изоляция ресурсов на уровне контейнеров

Песочница агента часто содержит не только основной процесс агента, но и вспомогательные контейнеры для логирования, проксирования или сбора метрик. Некоторые из этих контейнеров могут быть ненадежными. Если один из них начнет потреблять всю память, он может «уронить» всю песочницу вместе с агентом. Решение #859 вводит ограничения на CPU и память для каждого контейнера в микро-ВМ (microVM). Если контейнер превышает лимит памяти, он останавливается изолированно, а остальная часть песочницы продолжает работать. Это критически важно для безопасности и стабильности многопользовательских сред.

Управление GPU через Dynamic Resource Allocation (DRA)

Для поддержки GPU-песочниц и симуляторов, требующих доступа к GPU, Agent Substrate использует Kubernetes Dynamic Resource Allocation. Поставщики устройств (например, NVIDIA) описывают, как безопасно приостанавливать их устройства и какие свойства устройства зависят от снимка состояния. Agent Substrate записывает эти свойства с каждым чекпоинтом и восстанавливает песочницу на совместимом устройстве. Если совместимого устройства нет, происходит холодный старт. Это vendor-neutral дизайн, который позволяет гибко управлять GPU-ресурсами внутри изолированных сред.

Принцип работы сессий и чекпоинтов в Agent Substrate.
Принцип работы сессий и чекпоинтов в Agent Substrate.
💡
Важно знать. Agent Substrate использует gVisor или микро-ВМ для создания изолированных сред. Это обеспечивает безопасность уровня ядра, отделяя агенты друг от друга и от хост-системы, что критично при запуске ненадежного кода, сгенерированного или выполненного AI-агентами.

04NVIDIA Dynamo: Связующее звено между агентом и инференсом

Agent Substrate управляет тем, где агенты действуют (выполняют инструменты), но инференс-рантаймы управляют тем, где они «думают» (генерируют ответы). Обе системы сталкиваются с похожей проблемой эффективности: поддержание «теплыми» простаивающих песочниц тратит CPU и память, а перестроение контекста модели при повторных вызовах тратит GPU-циклы. Масштабирование каждого слоя независимо улучшает утилизацию, но координация между ними снижает задержки и сохраняет переиспользуемый контекст.

Здесь вступает в игру NVIDIA Dynamo — фреймворк распределенного инференса. Dynamo координирует инференс на GPU-воркерах, в то время как Agent Substrate управляет средами агентов. Роутер Dynamo находится между ними и связывает действия агента с тем, что происходит на GPU.

Инференс, aware к агентам

Традиционный роутинг инференса рассматривает каждый вызов модели как независимый запрос. В агенте каждый запрос — это один шаг в более длинной петле. Последовательные запросы часто используют один и тот же системный промпт, определения инструментов, историю разговора и предыдущие наблюдения. Роутер Dynamo видит, где находится переиспользуемый ключ-значение кэш (KV cache), какие воркеры заняты префиллингом или декодированием, и как распределена нагрузка. В сочетании с сигналами от Agent Substrate (идентификатор сессии, приоритет запроса, ожидаемая длина вывода, границы вызовов инструментов), Dynamo может:

  • Сохранять связанные вызовы модели на воркерах, которые уже содержат переиспользуемый KV кэш, избегая перегрузки отдельных GPU.
  • Приоритизировать интерактивные ходы над фоновой работой агентов при нехватке ресурсов.
  • Сохранять системные промпты и определения инструментов доступными даже в разрывы между вызовами инструментов.
  • Своевременно очищать кэш от завершенных суб-агентов или закрытых ветвей рассуждений.

Обратная связь от GPU к агенту

Самая важная часть интеграции — это то, что Dynamo передает сигналы инференса обратно в Agent Substrate. Dynamo ближе к выполнению на GPU, чем рантайм агента. Он видит готовность кэша, давление в очередях, активную работу префиллинга и декодирования, а также то, сколько времени, вероятно, займет запрос LLM. Эта информация позволяет Agent Substrate принимать интеллектуальные решения о жизненном цикле агента:

  • Держать ли актора активным? Если очередь GPU переполнена, Substrate может приостановить агент, чтобы освободить CPU-ресурсы.
  • Когда возобновить? Substrate может запланировать восстановление агента в момент, когда ответ модели близок к завершению, минимизируя время простоя.
  • Оптимизация емкости: На уровне всего флота эта обратная связь помогает настраивать количество «теплых» рабочих подов, регулировать ветвление агентов и избегать активации CPU-песочниц, которые будут простаивать за насыщенной очередью GPU.

Это создает четкое разделение ответственности: Agent Substrate управляет высокоуровневым жизненным циклом сред агентов, а Dynamo управляет высокопроизводительным жизненным циклом инференса. Вместе они образуют замкнутый цикл агентного вычисления: вызов модели -> вызов инструмента -> наблюдение -> снова вызов модели.

Визуализация управления памятью CUDA и KV-кэшем в контексте агентов.
Визуализация управления памятью CUDA и KV-кэшем в контексте агентов.

05Интеграция с KAI Scheduler и DSX AI Factory Platform

Agent Substrate работает поверх Kubernetes и взаимодействует с программным обеспечением NVIDIA для обслуживания моделей и размещения рабочих нагрузок. KAI Scheduler размещает поды Kubernetes, включая воркеры Substrate, рядом с GPU-тренажерами и серверами инференса. Вся эта стопка работает на платформе NVIDIA DSX AI Factory Platform, где Substrate выступает как независимый проект CNCF Sandbox, интегрирующийся с компонентами DSX OS.

Архитектурно это выглядит следующим образом:

  • DSX OS (Kubernetes, KAI Scheduler, Dynamo): Предоставляет фундамент, планировщик и инференс-движок.
  • Agent Substrate: Внешний открытый рантайм, который управляет состоянием агентов, мультиплексируя их на воркеры, размещенные KAI Scheduler.
  • NeMo RL / NeMo Gym: Прикладной слой, где запускаются сами петли агентов и оркестрация руллов.

Такая архитектура позволяет использовать общие ресурсы кластера более продуктивно. CPU-ресурсы, используемые для выполнения инструментов агентами, и GPU-ресурсы, используемые для инференса, координируются так, чтобы минимизировать простои обеих сторон. KAI Scheduler учитывает потребности как Substrate, так и Dynamo при размещении подов, обеспечивая оптимальное распределение ресурсов.

⚠️
Важно для разработчиков. API Agent Substrate все еще развивается. Поддержка GPU перестраивается на основе новой базы DRA, а часть интеграции Dynamo с агентами является экспериментальной. Сейчас идеальное время для участия в сообществе и влияния на дизайн проекта.

06Как начать: Руководство по развертыванию

NVIDIA предоставляет пошаговое руководство по развертыванию помощника по написанию кода с использованием Dynamo и Agent Substrate. В этом руководстве демонстрируется:

  1. Запуск агентов Pi как Substrate Actors: Каждый агент получает изолированную, сохраняющую состояние среду для инспекции репозиториев, редактирования кода и запуска тестов.
  2. Подключение к GLM-5.3-Flash через NVIDIA Dynamo: Завершение цикла между инференсом модели и выполнением инструментов в песочнях, управляемых Substrate.
  3. Использование Harbor для оценки: Запуск агентов против набора данных SWE-bench Verified для оценки их способности решать задачи по исправлению программного обеспечения.

Это руководство доступно в репозитории Agent Substrate. Оно позволяет инженерам увидеть на практике, как мультиплексирование сессий, управление состоянием и координация с инференс-движком работают вместе для создания масштабируемой, эффективной и безопасной инфраструктуры для AI-агентов.

07Что это значит на практике

Для организаций, внедряющих AI-агентов в производство, Agent Substrate означает переход от «хрупких» прототипов к устойчивым, масштабируемым системам. Раньше масштабирование агентов означало либо экспоненциальный рост затрат на инфраструктуру (из-за простоя подов), либо деградацию пользовательского опыта (из-за холодных стартов). Agent Substrate устраняет этот компромисс.

Сочетание с NVIDIA Dynamo и KAI Scheduler создает экосистему, где ресурсы используются максимально эффективно. GPU не простаивают, ожидая, пока CPU-агент выполнит инструмент, и CPU не простаивает, ожидая ответа от GPU. Состояние агентов сохраняется мгновенно, что позволяет создавать сложные многошаговые сценарии, которые выглядят для пользователя как единое целое, даже если технически они распределены по сотням микросервисов и чекпоинтов.

Открытость проекта и его интеграция с CNCF стандартами означают, что компании не привязываются к проприетарным решениям. Они получают мощный инструмент, который можно развернуть в любом Kubernetes-кластере, с возможностью участия в развитии платформы. Для России и других регионов, где доступ к облачным сервисам может быть ограничен, локальный запуск такой связки на собственных GPU-кластерах становится стратегически важным шагом для развития собственных AI-продуктов. Agent Substrate дает инфраструктурный фундамент, на котором можно строить агентов любого масштаба — от нескольких десятков до миллионов одновременных сессий.

Следующие шаги для сообщества включают участие в Agent Substrate Community Party и посещение мероприятий KubeCon + CloudNativeCon North America 2026, где можно будет напрямую общаться с мейнтейнерами и разработчиками. Это активный, развивающийся проект, который формирует будущее облачной инфраструктуры для AI-агентов.

Источник: NVIDIA Developer ↗