Проблема: Kubernetes не для агентов
Традиционные сервисы работают долго, но AI-агенты живут циклами: шаг (вызов LLM, выполнение команды) — ожидание (от человека или модели). Запуск отдельного Pod'а на каждый шаг занимает секунды из-за обхода API-сервера, планировщика и загрузки образов. Это приводит к двум тупикам: либо мы держим Pod'ы «теплыми» (paying for idle compute), либо платим за холодные старты при каждом действии.
Решение: Agent Substrate и мультиплексирование
Agent Substrate — это open-source runtime нулевого доверия, который мультиплексирует множество сессий агентов на небольшом пуле worker-подов. Когда агент переходит в режим ожидания, его состояние (память и файловая система) сохраняется в снапшот, а воркер освобождается. При следующем запросе агент восстанавливается на любом свободном воркере без участия планировщика Kubernetes.
Ключевая метрика: плотность агентов выше в 10 раз по сравнению со стандартными контейнерами. Проект уже стал независимым CNCF Sandbox-проектом.
Три ключевых сценария использования
- Кодовые ассистенты: Агенты чередуют вызовы LLM с операциями в репозитории. Требуется мгновенный отклик и сохранение окружения между ходами.
- RL Post-training: Обучение с подкреплением требует тысяч CPU-песочниц для симуляций. Холодные старты здесь простаивают GPU-тренажеры, так как они ждут завершения шага среды.
- GPU-песочницы для исследований: Короткоживущие изолированные среды для компиляции CUDA или бенчмарков, требующие быстрого старта и честного распределения ограниченных GPU.
Интеграция с NVIDIA Dynamo и KAI Scheduler
Agent Substrate не работает в вакууме. В стеке NVIDIA DSX AI Factory Platform он координируется с:
- NVIDIA Dynamo: Управляет инференсом. Отдает сигналы (проектируемое время до первого токена, насыщение GPU) в Substrate, чтобы тот решал: держать ли актора активным или приостановить во время ожидания ответа модели.
- KAI Scheduler: Размещает воркеры Substrate рядом с GPU-тренажерами и серверами инференса, обеспечивая эффективное использование кластера.
Вклад в Open Source (Upstream)
NVIDIA внесла ряд изменений в ядро Kubernetes и CNCF-экосистему:
| Функция | Описание | Номер PR / Статус |
|---|---|---|
| Request Parking | Парковка запросов в роутере, когда все воркеры заняты. Запрос ждет освобождения воркера, а не падает с ошибкой. | #221, #1229 |
| GPU DRA Support | Поддержка Dynamic Resource Allocation для запроса GPU внутри контейнера (microVM/gVisor). | #752 (в разработке) |
| Vendor-neutral Pause/Resume | Независимый от вендоров механизм приостановки и восстановления состояния GPU через K8s DRA. | В процессе |
Что дальше?
Проект доступен для тестирования. NVIDIA приглашает разработчиков на Agent Substrate Community Party 10 ноября в Солт-Лейк-Сити и предлагает руководство по развертыванию кодовых агентов в связке с Dynamo.
Источник: NVIDIA dev blog ↗