Новый игрок в линейке Cosmos 3
20 июля 2026 года NVIDIA открыла доступ к Cosmos 3 Edge на платформе Hugging Face. Это третья и самая компактная модель в семействе Cosmos 3, выпущенного ранее в мае на GTC Taipei. Если Cosmos 3 Super имеет 64 млрд параметров, а Nano — 16 млрд, то Edge-версия весит всего 4 млрд параметров (из них 2 млрд — плотный трансформер-рассуждатель). Модель лицензирована под Linux Foundation OpenMDW-1.1 и позиционируется как решение для заполнения разрыва между производительностью дата-центров и ограничениями памяти edge-устройств.
Архитектура: два трансформера, одна цель
Сердце модели — архитектура Mixture-of-Transformers, объединяющая две башни через общие слои мультимодального внимания:
- Авторагрессивная башня: обрабатывает визуальные и текстовые токены для понимания сцены и логического вывода.
- Диффузионная башня: отвечает за предсказание, генерацию видео и нейросимуляцию действий, обрабатывая токены зрения, аудио и управления.
Такая структура позволяет модели не только «видеть», но и симулировать будущие состояния мира, связывая визуальные изменения с физическими движениями.
Универсальный язык действий (Embodiment)
Ключевая инновация Cosmos 3 Edge — маппинг различных физических систем в единое представление действий. Модель кодирует движения как компактные геометрические векторы (перемещение, вращение, захват), что позволяет использовать один и тот же вес для разных роботов. Поддерживаемые размерности действий:
| Тип эмбодимента | Размерность действия | Пример использования |
|---|---|---|
| Движение камеры | 9D | БПЛА, мобильные платформы |
| Автономное транспортное средство | 9D | Беспилотные автомобили |
| Одноплечевой робот | 10D | Манипуляторы, складская логистика |
| Двухплечевой робот | 20D | Сложные сборки, хирургия |
| Человекоподобный робот | 29D | Гуманоиды, навигация в среде |
Производительность и развертывание
Модель оптимизирована для работы при разрешении наблюдения 640×360. На NVIDIA Jetson Thor она генерирует 32 действия за один инференс, обеспечивая контроль в реальном времени на частоте 15 Гц. Для генерации видео поддерживаются разрешения 256p и 480p с частотой 12–30 кадров в секунду.
NVIDIA также представила Cosmos 3 Edge Policy (DROID) — дообученную политику для задач pick-and-place на датасете DROID. Разработчики могут дообучить модель на кластере H100 или DGX Station за один день. Аппаратные требования для прототипирования начинаются с GeForce RTX 3070, а целевые платформы включают линейку Jetson (включая новые T2000/T3000) и RTX PRO.
Почему это важно
Ранние модели требовали облачных вычислений для сложных рассуждений, что создавало задержки, критичные для робототехники. Cosmos 3 Edge переносит логику «восприятие-планирование-действие» на edge, что позволяет роботам в фабричных цехах и больницах принимать решения мгновенно, без зависимости от сети. По заявлению NVIDIA, модель заняла 1-е место на VANTAGE-Bench среди моделей с 4 млрд параметров.
Источник: MarkTechPost ↗