В мире искусственного интеллекта грань между виртуальным и физическим мирами становится всё более размытой. NVIDIA, один из ключевых игроков в области вычислительных технологий и ИИ, продолжает расширять границы возможного, представив новую версию своей платформы для моделирования мира — Cosmos 3. Это не просто обновление алгоритмов, а фундаментальный сдвиг в подходе к созданию симуляций, которые могут использоваться для обучения автономных транспортных средств, робототехники и других сложных систем. В рамках этого обновления компания выпустила четыре новые модели с открытыми весами, каждая из которых решает специфические задачи в области интерактивного моделирования окружающей среды.
Эти модели, входящие в семейство Cosmos 3 Nano, разработаны для генерации интерактивных сценариев, включая многокамерные виды для автономного вождения и симуляцию действий роботов. Важно отметить, что все четыре модели являются примерами постобучения (post-training) базовой модели Cosmos 3 Nano и содержат 16 миллиардов обучаемых параметров. Они используют лицензию OpenMDW1.1, что позволяет как коммерческое, так и некоммерческое использование, открывая широкие возможности для исследователей и разработчиков по всему миру, включая Россию, где доступ к таким ресурсам становится критически важным для развития локальных AI-решений.
01Зачем нужны эти контрольные точки?
Почему NVIDIA решила выпустить именно такие модели? Ответ кроется в потребностях двух ключевых отраслей: робототехники и автономного вождения. Роботам требуются среды, которые могут «отвечать» на действия в меняющихся сценах и с разных точек зрения. Новые контрольные точки предлагают дополняющие друг друга способы построения таких сред. Например, модель Sim-Bimanual предсказывает визуальные последствия от действий, в то время как Sim-Transfer превращает элементы управления физическим симулятором в сгенерированные наблюдения.
В сфере автономного вождения критически важно, чтобы визуальное восприятие и геометрия совпадали. Синхронизированная генерация данных с камер и лидаров (LiDAR) соединяет визуальные наблюдения с 3D-сенсорикой. Контроль над сценами и дорожными сигналами позволяет исследователям варьировать дорожные разметки и состояния сигналов, изучая, как политика вождения реагирует на эти изменения. Кроме того, каждое наблюдение может формировать следующее действие. Поточная генерация (streaming generation) связывает предсказание видео с ongoing взаимодействием, давая исследователям возможность изучать, как действия и наблюдения разворачиваются во времени.
02Создание миров для автономных транспортных средств с Cosmos3-Nano
Transfer-Auto: сценарии вождения → данные с нескольких датчиков
Cosmos3-Nano-Transfer-Auto — это двунаправленная модель для офлайн-генерации синтетических данных для вождения. Она генерирует синхронизированное видео с до 11 камер, включая широкоугольные (fisheye), и поддерживает совместную генерацию RGB-изображений и данных LiDAR. Управление сценой осуществляется через карты мира (World Scenario Map, WSM), которые определяют структуру сцены и движение транспорта, в то время как текстовые подсказки направляют внешний вид объектов.
Разработчики могут варьировать условия окружающей среды, чтобы расширить покрытие для обучения и оценки, используя опциональные начальные RGB-изображения для закрепления внешнего вида сцены. Совместная генерация LiDAR дополнительно использует элементы управления картой HD-карты (range-map controls), выровненные с данными камер. Transfer-Auto также служит основой для адаптации Cosmos к вашей собственной конфигурации датчиков и домену вождения. Начните с постобучения модели на ваших данных, чтобы учесть вашу раскладку камер, конфигурацию LiDAR и целевую среду. Адаптированная модель может использоваться напрямую для офлайн-генерации данных или проходить причинное обучение и дистилляцию с малым числом шагов для быстрого потокового симулирования — путь разработки, использованный для создания Cosmos3-Nano-Sim-Auto.
Sim-Auto: элементы управления вождением → потоковые наблюдения
Cosmos3-Nano-Sim-Auto — это причинно-дистиллированная потоковая вариация Transfer-Auto. Она генерирует последовательные небольшие фрагменты синхронизированного видео с камер и данных LiDAR всего за несколько шагов денормализации (denoising), используя сгенерированную историю и обновленные элементы управления вождением для поддержки быстрого потокового режима и длинных интерактивных заездов.
Для работы необходимо предоставить подписи для каждой камеры и синхронизированные элементы управления WSM, опционально добавляя начальные RGB-изображения. Для генерации LiDAR включите элементы управления картой HD-карты, выровненные с элементами управления камерами. Дистиллированная модель генерирует последовательные фрагменты, используя свою скользящую историю. Замкнутый цикл взаимодействия требует времени выполнения симуляции и рендерера WSM для обновления этих элементов управления на основе входных данных вождения. Для новой конфигурации датчиков или домена сначала адаптируйте Transfer-Auto, а затем дистиллируйте её в Sim-Auto.
Sim-Transfer: элементы управления симулятором → RGB
Ваш симулятор вычисляет движение, контакты и физическое состояние. Sim-Transfer использует его пространственные элементы управления и текстовую подсказку для рендеринга цветных наблюдений, которые может потреблять политика (policy). Цепочка выглядит так: Действие → обновление симулятора → пространственные элементы управления → сгенерированное RGB → следующее действие политики.
Модель поддерживает различные типы контроля:
- Глубина (Depth): относительное расстояние от камеры.
- Сегментация (Segmentation): регионы и границы объектов.
- Края (Edges): контуры сцены.
- Размытие (Blur): грубый внешний вид и макет.
Текст направляет внешний вид, в то время как физика и истинное состояние остаются в симуляторе. Это позволяет использовать Sim-Transfer для генерации визуальных данных из состояния физического симулятора, что особенно полезно для обучения политик в условиях, где прямое взаимодействие с физическим миром дорого или опасно.
Sim-Bimanual: действия → видео
Cosmos3-Nano-Sim-Bimanual симулирует, как среда эволюционирует в ответ на действия двуручного робота. Она поддерживает интерактивную симуляцию с двумя руками для воплощений YAM и AgiBot, управляемых политикой или джойстиками оператора. Начните с изображения, переместите робота или камеру и сгенерируйте следующие наблюдения. Одна последовательность элементов управления может переключаться между изменениями точки обзора и манипуляциями.
Пример сmixed-действием использует 59 значений элементов управления, дополненных до 64 во время обучения. Его схема определяет системы координат, вращения, калибровку захвата, маски действительности и домены элементов управления. Следуйте этим соглашениям, чтобы каждое значение описывало предполагаемое движение. Важно сохранять временное выравнивание: для T переходов требуется T+1 наблюдений. Обучение преобразует сырые захваты в представление действий модели; выпущенные для вывода действия уже нормализованы.
03Как работает потоковая генерация
Архитектура Cosmos 3 использует Mixture-of-Transformers (смесь трансформеров), которая соединяет отдельные сети обработки текста и визуальной генерации через механизм внимания. Генератор предсказывает каждый короткий сегмент на основе подсказки, доступных элементов управления и сгенерированной истории.
Процесс можно описать следующей схемой: Элементы управления + история → генерация фрагмента → декодирование изображений → обновление истории. Денормализация уточняет зашумленные, сжатые представления видео до фрагмента. Временное причинное внимание (temporal-causal attention) позволяет ему читать доступную историю и элементы управления, блокируя будущие целевые наблюдения. Кэш ключей/значений (key/value cache) сохраняет информацию внимания для следующего предсказания.
Модель работает со сжатыми представлениями видео, называемыми латентами (latents). После начального изображения каждый временной шаг латента представляет четыре кадра RGB. Transfer предсказывает один шаг на фрагмент; оптимизированная настройка Bimanual в отчете предсказывает два. Меньшие фрагменты позволяют новым элементам управления чаще влиять на генерацию, что критически важно для интерактивных сценариев, где реакция должна быть мгновенной.
04Четырехэтастный рецепт обучения
Процесс обучения моделей Cosmos 3 состоит из четырех этапов, каждый из которых играет важную роль в формировании качества генерации:
- Этап 0 — Двунаправленная адаптация: Модель изучает домен и отношения «элемент управления-видео» из полных записанных клипов. Это позволяет модели понять базовую структуру сцены и физику.
- Этап 1 — Принуждение учителем (Teacher forcing): Модель предсказывает каждый фрагмент из более ранних записанных наблюдений и доступных элементов управления, при этом чистый ответ и будущие цели замаскированы. Это помогает модели научиться предсказывать следующие шаги на основе известных данных.
- Этап 2 — Дистилляция согласованности: Используется замороженный учитель для обучения студента, который генерирует каждый фрагмент за четыре шага денормализации. Это значительно ускоряет процесс генерации.
- Этап 3 — Самонавязывание (Self-forcing): Обучение проводится на истории, сгенерированной самим студентом. Замороженный учитель и вспомогательная модель оценки обеспечивают сигнал согласования распределения. Этот этап критически важен, так как слегка ошибочно предсказанный объект становится контекстом для последующих кадров, и ошибки могут накапливаться. Самонавязывание подвергает обучение воздействию этой сгенерированной истории, делая модель более устойчивой к накоплению ошибок.
05Адаптация с помощью ваших данных
Рецепты постобучения начинаются с весов Cosmos3-Nano или совместимых базовых весов и охватывают все четыре этапа. Сохраняйте полные контрольные точки обучения для возобновления; экспортированные веса для вывода исключают оптимизатор и другое состояние обучения. Вот как можно использовать каждую модель:
- Transfer-auto: Постобучите на данных вождения, чтобы адаптироваться к вашей конфигурации датчиков и домену, и генерируйте офлайн-синтетические данные.
- Sim-auto: Примените причинное обучение и дистилляцию к адаптированной модели Transfer-Auto для быстрого потокового симулирования.
- Sim-Transfer: Постобучите контрольную точку для вашей среды с локальной подготовкой данных, конфигурациями этапов и возобновлением.
- Sim-Bimanual: Постобучите для вашего воплощения с проверкой данных, конфигурациями этапов, передачей контрольных точек и экспортом.
Дайте вашему кодовому агенту навык и расположение набора данных. Следуйте проверкам среды, проверьте образец и протестируйте обучение и перезапуск перед более длительным запуском. Оценивайте качество на отложенных эпизодах: успешный короткий запуск подтверждает выполнение, а не сходимость. Это важный момент, так как быстрая проверка позволяет избежать траты ресурсов на обучение, которое не приведет к желаемым результатам.
06Что это значит на практике
Для разработчиков в России и других странах, где доступ к облачным ресурсам может быть ограничен, возможность локального запуска моделей с открытыми весами является огромным преимуществом. Семейство Cosmos 3 Nano позволяет создавать высококачественные симуляции для обучения автономных систем без необходимости сбора огромных объемов реальных данных, что часто бывает дорого и опасно. Например, компания, разрабатывающая беспилотные такси, может использовать Transfer-Auto для генерации сценариев с различными погодными условиями и дорожными ситуациями, а затем обучать свою политику на этих данных. Робототехнические стартапы могут использовать Sim-Bimanual для симуляции манипуляций с объектами, ускоряя разработку алгоритмов управления.
Кроме того, открытая природа моделей способствует сотрудничеству и обмену знаниями. Исследователи могут сравнивать свои методы с базовыми линиями, предложенными NVIDIA, и вносить улучшения в общую экосистему. Это создает положительную обратную связь, где улучшения в одной области (например, в генерации LiDAR) могут быть применены в других (например, в робототехнике). В конечном итоге, Cosmos 3 представляет собой мощный инструмент для перехода от статических моделей ИИ к динамическим, интерактивным симуляциям, которые ближе к реальному миру.
Для тех, кто хочет начать работу, NVIDIA предоставляет ноутбуки и инструкции по запуску. Рекомендуется начать с простых сценариев, чтобы понять архитектуру, а затем переходить к более сложным задачам. Важно также следить за обновлениями и техническими отчетами, так как область быстро развивается. Доступ к моделям осуществляется через Hugging Face, что упрощает процесс загрузки и интеграции в существующие проекты.
В заключение, выпуск Cosmos 3 Nano — это значительный шаг вперед в области моделирования мира. Он предоставляет исследователям и разработчикам инструменты для создания более реалистичных, интерактивных и полезных симуляций. Независимо от того, работаете ли вы над автономным вождением, робототехникой или другими приложениями ИИ, эти модели могут стать ценным активом в вашем арсенале. Попробуйте их, адаптируйте под свои нужды и внесите свой вклад в развитие этой технологии.
Источник: Hugging Face ↗