Революция на edge: производительность дата-центра на борту
NVIDIA представила Cosmos 3 Edge — открытую мировую модель (World Model) объемом 4 миллиарда параметров, разработанную специально для физических AI-систем. Главная инновация заключается в том, что модель обеспечивает производительность уровня дата-центра на edge-устройствах с ограниченными ресурсами памяти. Она доступна для загрузки на Hugging Face и оптимизирована для работы на NVIDIA RTX PRO, DGX, GeForce RTX, а также на новых модулях NVIDIA Jetson T2000 и T3000.
Модель решает критическую задачу для робототехники: она не просто распознает объекты, но и предсказывает изменения сцены во времени, позволяя роботам принимать решения в реальном времени. Это достигается за счет совместного использования представлений для понимания текущего состояния мира и симуляции возможных будущих состояний.
Архитектура: два трансформера, одно представление
В основе Cosmos 3 Edge лежит уникальная архитектура с двумя башнями трансформеров, которые разделяют слои мультимодального внимания:
- Авторегрессионная башня: обрабатывает визуальные и текстовые токены для понимания и рассуждения (использует каузальное внимание).
- Диффузионная башня: обрабатывает визуальные, аудио и action-токены для предсказания, генерации и нейросимуляции (использует широкое внимание к контексту).
Такая структура позволяет модели сначала «рассуждать» о сцене, а затем генерировать либо текстовые токены рассуждения, либо денормализованные видео и действия. Действия кодируются как компактные геометрические векторы, включающие трансляцию, вращение и состояние манипуляции, что создает прямую связь между пикселями и физическим движением.
Метрики и бенчмарки: лидер в классе
Cosmos 3 Edge демонстрирует выдающиеся результаты среди моделей схожего размера (4B параметров). Она занимает 1-е место в VANTAGE-Bench для визуального анализа и устанавливает новые стандарты (SOTA) для обучения политик роботов. Ниже приведены ключевые технические характеристики производительности:
| Параметр | Значение / Характеристика |
|---|---|
| Количество параметров | 4 миллиарда |
| Разрешение наблюдений | 640×360 пикселей |
| Частота управления (Jetson Thor) | 15 Гц (real-time) |
| Генерация действий | 32 действия за один инференс |
| Позиция в VANTAGE-Bench | #1 среди моделей 4B параметров |
| Оптимизация инференса (Super 4-Step) | Ускорение до 25x (с 35-50 шагов до 4) |
Policy Mode и обучение на DROID
Модель работает в режиме Policy Mode: на вход подается текущее состояние, а на выходе получаются предсказанное действие и визуальное следствие. NVIDIA также выпустила специализированную версию Cosmos 3 Edge Policy (DROID), дообученную на датасете DROID для задач pick-and-place (взять и поместить). Разработчики могут использовать кластеры H100 или DGX Station для эффективной тонкой настройки модели под свои задачи перед развертыванием на edge-устройствах.
Доступность и будущее
Параллельно с базовой моделью NVIDIA представила чекпоинты Cosmos 3 Super 4-Step Distillation для 64B-модели, которые сокращают количество шагов диффузии с 35–50 до 4, обеспечивая ускорение генерации видео в 25 раз без потери качества. Все модели доступны в открытом доступе через Hugging Face, что позволяет разработчикам строить доменно-адаптированные мировые модели для умной инфраструктуры и робототехники.
Источник: Huggingface ↗