Что произошло
5 ноября 2026 года NVIDIA опубликовала четыре новых контрольных точки (checkpoints) в рамках платформы Cosmos 3. Все модели являются пост-обученными версиями базовой архитектуры Cosmos 3 Nano и имеют 16 миллиардов обучаемых параметров. Они доступны под лицензией OpenMDW 1.1, что разрешает как коммерческое, так и некоммерческое использование. Это шаг к созданию открытых фундаментов для симуляции физических миров, где действия агентов (роботов или автомобилей) вызывают реалистичные визуальные последствия.
Четыре специализированных модели
Каждая модель решает свою задачу в конвейере симуляции: от генерации данных до интерактивного управления. Ниже приведено сравнение ключевых характеристик:
| Модель | Основная функция | Входные данные | Выходные данные |
|---|---|---|---|
| Cosmos3-Nano-Transfer-Auto | Генерация офлайн-данных для автономного вождения | Карта сцен (WSM), текстовые промпты, HD-карты | Синхронизированное видео (до 11 камер) + данные LiDAR |
| Cosmos3-Nano-Sim-Auto | Потоковая симуляция вождения (streaming) | История генерации, управляющие сигналы, WSM | Последовательные чанки видео и LiDAR в реальном времени |
| Cosmos3-Nano-Sim-Transfer | Рендеринг из физического симулятора | Пространственные контролы (глубина, сегментация, края) + текст | Фотореалистичное RGB-видео |
| Cosmos3-Nano-Sim-Bimanual | Симуляция действий двухрукого робота | Действия робота (YAM/AgiBot), начальный кадр | Видео реакции среды на действия манипуляторов |
Технические детали и архитектура
В основе всех моделей лежит архитектура Mixture-of-Transformers, которая соединяет сети обработки текста и визуальной генерации через механизмы внимания. Ключевые особенности:
- Потоковая генерация: Модель работает со сжатыми видеопредставлениями (latents). Один шаг латента соответствует 4 кадрам RGB. Использование временного причинного внимания (temporal-causal attention) позволяет модели учитывать историю и текущие контролы, блокируя доступ к будущим наблюдениям.
- Кэширование: Для ускорения инференса используется ключевой/значимый кэш (key/value cache), сохраняющий информацию внимания для следующих предсказаний.
- Гибкость сенсоров: Transfer-Auto поддерживает генерацию данных с до 11 камер (включая рыбий глаз) и синхронизированный LiDAR, что критично для обучения политик автономного вождения.
Требования к развертыванию
Для работы с моделями требуется среда Linux, Docker, NVIDIA Container Toolkit и GPU NVIDIA. В документации указано, что тестирование проводилось на системе с GPU GB200, однако это не является минимальным требованием по памяти. Развертывание использует стек vLLM-Omni, где сервер загружает веса, а клиенты запрашивают выборки.
Почему это важно
Открытие этих весов позволяет исследователям и разработчикам создавать собственные симуляторы, адаптируя модели под специфические сенсорные установки (камеры, лидары) и домены (городская среда, заводы). Это снижает барьер для входа в разработку автономных систем и робототехники, предоставляя готовый фундамент для оценки политик обучения и тестирования в виртуальных мирах, которые физически достоверны.
Источник: Hugging Face blog ↗