Открытые веса как стандарт для Physical AI
NVIDIA объявила о запуске NVIDIA Cosmos 3 — семейства открытых фундаментальных моделей (foundation models) для Physical AI. Это решение направлено на решение главной проблемы отрасли: необходимости специализации ИИ под конкретные физические среды. В отличие от закрытых проприетарных моделей, Cosmos 3 распространяется под лицензией OpenMDW 1.1 от Linux Foundation, что позволяет разработчикам скачивать веса, проверять их и дообучать (post-train) на собственных данных и инфраструктуре.
Ключевая идея заключается в том, что Physical AI должен не просто распознавать объекты, но и предсказывать физические последствия действий. Cosmos 3 объединяет визуальное рассуждение, генерацию миров и предсказание действий в одной архитектуре, устраняя необходимость поддерживать разрозненные модели для каждой задачи.
Архитектура и линейка моделей
Модель построена на архитектуре Mixture-of-Transformers и предлагает три версии для разных сценариев использования: от высокодетализированного моделирования до работы на edge-устройствах. Это позволяет адаптировать решения под ресурсы от мощных серверов до роботизированных платформ.
| Модель | Параметры | Назначение | Платформы |
|---|---|---|---|
| Cosmos 3 Super | 64B | Высокоточное моделирование миров, генерация синтетических данных | NVIDIA DGX, RTX |
| Cosmos 3 Nano | 16B | Эффективное рассуждение, дообучение (post-training) | Серверные GPU |
| Cosmos 3 Edge | 4B | Визуальное рассуждение на устройстве, развертывание политик роботов | NVIDIA Jetson (вкл. Thor), RTX |
Лидерство в бенчмарках
По результатам независимых оценок, Cosmos 3 демонстрирует передовые результаты среди открытых моделей. Модель заняла 1-е место в нескольких ключевых категориях:
- Artificial Analysis: генерация изображений (text-to-image) и видео (image-to-video).
- PAI-Bench: генерация миров (world generation).
- Physics-IQ: категория image-to-video.
- RoboLab: политики для роботов (robot policy).
- VANTAGE-Bench: визуальное понимание (vision understanding) — лучший результат среди открытых моделей.
Экосистема и внедрение
Для создания симуляционных сред NVIDIA предлагает библиотеки NVIDIA Omniverse и стандарт OpenUSD, которые позволяют создавать цифровые двойники и генерировать синтетические данные. Это критически важно для тестирования редких сценариев (long-tail scenarios), которые опасно или дорого воспроизводить в реальности.
Среди первых пользователей модели — крупные игроки в робототехнике и автопроме:
- Робототехника: Doosan Robotics, LG Electronics, Samsung Electronics, Skild AI.
- Автономное вождение: Li Auto, Xiaomi, Afari.
- Видеоаналитика: Centific Fogsphere, Linker Vision, Milestone Systems, Yuan.
Также NVIDIA расширила Cosmos Coalition в Японии, привлекая лидеров в сфере логистики, сельского хозяйства и строительства для разработки открытых моделей под промышленные нужды.
Источник: NVIDIA Blog ↗