OpenShell: безопасность AI-агентов в открытом коде
NVIDIA передала проект OpenShell в фонд CNCF (Linux Foundation) в статусе Sandbox-проекта. Это runtime-решение для управления и защиты автономных AI-агентов. Проект уже получил десятки тысяч контрибуций от сотен организаций менее чем за год. OpenShell применяет детерминированный контроль над действиями агентов, позволяя настраивать политики использования инструментов, доступа к сервисам инференса и выполнения задач. Архитектура позволяет интегрировать собственные провайдеры вычислений, хранилища учетных данных и системы мониторинга.
Agent Substrate: масштабирование без простоя
Параллельно NVIDIA поддерживает проект Agent Substrate (разработан Google), также принятый в CNCF Sandbox. Этот фреймворк оптимизирует работу долгосрочных агентов на Kubernetes: он сохраняет состояние среды между задачами и освобождает вычислительные ресурсы, когда агенты простаивают. NVIDIA обеспечивает совместимость Agent Substrate с NVIDIA Dynamo (для инференса моделей) и KAI Scheduler (для распределения ресурсов кластера). Совместная работа NVIDIA и Google направлена на создание единой системы управления агентами в гибридных средах.
Инструменты для AI-фабрик: NVKE, NVKR и Snapshot
В рамках платформы NVIDIA DSX AI Factory Platform анонсированы три новых open-source компонента в публичном предварительном просмотре:
- NVIDIA Kubernetes Engine (NVKE) и NVIDIA Kubernetes Recipes (NVKR): автоматизируют жизненный цикл кластеров и предоставляют подписанные образы с фиксированными версиями. Поддержку интеграции уже анонсировали Mirantis, Netris, OpenNebula Systems, Rafay, Spectro Cloud, vCluster, Firmus и SK Telecom.
- NVIDIA Snapshot: модульный компонент для мгновенного восстановления инференса. Он позволяет запускать реплики из чекпоинтов за секунды, исключая время на загрузку модели и «прогрев» (warmup).
Результаты бенчмарков NVIDIA Snapshot
Партнеры по дизайну (Crusoe и Saturn Cloud) протестировали NVIDIA Snapshot на системах NVIDIA HGX B300. Результаты показали кратное ускорение запуска рабочих нагрузок:
| Компания | Сценарий | Было (время готовности) | Стало (время готовности) | Ускорение |
|---|---|---|---|---|
| Crusoe | GLM-5.3 на Crusoe Cloud | ~8 минут | 31 секунда | ~15.5x |
| Saturn Cloud | Инференс vLLM (scale-from-zero) | 2–8.5 минут | 6–34 секунды | ~15–25x |
Эти инициативы, представленные на KubeCon + CloudNativeCon, направлены на то, чтобы сделать Kubernetes основной платформой для масштабных AI-нагрузок, обеспечивая безопасность, эффективность и скорость развертывания.
Источник: NVIDIA Blog ↗