Архитектура и производительность
NVIDIA представила Cosmos 3 Edge — открытую мировую модель (World Model) объемом 4 миллиарда параметров. В отличие от облачных решений, эта модель предназначена для работы непосредственно на периферийных устройствах (edge devices), таких как NVIDIA Jetson (включая новые модули T2000 и T3000), RTX PRO и GeForce RTX. Модель сочетает в себе функции понимания сцены и генерации действий, обеспечивая вывод 32 действий за один шаг инференса при частоте управления 15 Гц на NVIDIA Jetson Thor.
Двойная трансформерная башня
Ключевая особенность архитектуры — использование двух башен трансформеров с общим представлением:
- Авторегрессионная башня: обрабатывает визуальные и текстовые токены для понимания и рассуждения (причинно-следственные связи).
- Диффузионная башня: обрабатывает визуальные, аудио и action-токены для предсказания, генерации и нейросимуляции.
Обе башни разделяют слои мультимодального внимания, что позволяет модели выравнивать информацию между языком, видео, звуком и действиями, создавая единое представление о состоянии мира.
Результаты бенчмарков
Среди моделей схожего размера (4B параметров) Cosmos 3 Edge демонстрирует лидерские позиции. Ниже приведены ключевые метрики производительности:
| Метрика / Задача | Результат / Статус | Примечание |
|---|---|---|
| VANTAGE-Bench (Vision Analytics) | #1 среди аналогов (4B params) | Лучшая точность визуального анализа |
| Robot Policy Learning | State-of-the-art (SOTA) | Лидер в обучении политик роботов |
| Частота управления (Jetson Thor) | 15 Hz | Реальное время (real-time control) |
| Генерация действий | 32 actions/inference | Высокая пропускная способность |
Политика действий и DROID
Модель работает в режиме «Policy», предсказывая не только визуальное следствие, но и само действие. NVIDIA также выпустила Cosmos 3 Edge Policy (DROID) — дообученную политику для задач pick-and-place (взять-положить), обученную на датасете DROID. Разработчики могут использовать открытые скрипты для дообучения модели на своих данных, используя кластеры H100 или DGX Station, перед развертыванием на edge-устройствах.
Оптимизация и доступность
Параллельно с базовой моделью NVIDIA представила Cosmos 3 Super 4-Step Distillation для 64B-модели. Этот чекпоинт сокращает количество шагов диффузии с 35–50 до 4, обеспечивая ускорение инференса до 25 раз при сохранении качества генерации изображений и видео. Модель доступна для загрузки на Hugging Face в репозитории nvidia/Cosmos3-Edge.
Источник: Hugging Face blog ↗