Хирургическая робототехника переживает момент истины. Мы наблюдаем стремительный переход от простых систем телеуправления к сложным автономным системам, способным принимать решения на основе визуальных данных и языка. Однако, как и в любой новой области, перед нами встают фундаментальные проблемы: обучение таких систем требует огромных объемов данных, а физические эксперименты на роботах — процесс дорогой, медленный и сопряженный с рисками. Ошибка алгоритма может привести к поломке дорогостоящего оборудования или, что хуже, к повреждению биологических тканей. Именно здесь на сцену выходят цифровые двойники и симуляторы, но традиционные подходы часто не справляются с реалистичностью.
Компания NVIDIA делает еще один шаг вперед, представляя Cosmos-H-Dreams. Это не просто еще один симулятор, а полноценная генеративная среда, способная моделировать хирургические сцены в реальном времени. Используя мощь мировых фундаментальных моделей (World Foundation Models) и библиотеку ускоренного вывода FlashDreams, NVIDIA создала среду, где человек или обученная политика (policy) могут взаимодействовать с виртуальной хирургической сценой так же естественно, как с физической. В этой статье мы подробно разберем, как устроена эта технология, почему она важна для развития Physical AI и как исследователи могут начать использовать ее уже сегодня.
01От статичной модели к интерактивному симулятору
Чтобы понять масштаб прорыва, нужно взглянуть на предшественника — Cosmos-H-Surgical-Simulator. Эта модель, построенная на базе NVIDIA Cosmos-Predict2.5 и дообученная на датасете Open-H-Embodiment, уже демонстрировала способность генерировать видео будущих состояний хирургической сцены на основе начального кадра и траектории робота. Это позволяло проводить офлайн-оценку политик и генерировать синтетические данные без риска для реального оборудования. Однако этот процесс был медленным: генерация происходила пакетно, и система не могла отвечать мгновенно на действия оператора или алгоритма.
Cosmos-H-Dreams решает проблему задержки, переводя модель в режим реального времени. Архитектура системы претерпела значительные изменения. Исходная многоэмбодиментная хирургическая prior-модель была специализирована для работы с набором инструментов da Vinci Research Kit (dVRK) для настольного шитья. Ключевым изменением стало внедрение причинно-следственной (causal) структуры, которая позволяет модели генерировать сцену авторегрессивно — шаг за шагом, предсказывая следующий фрагмент кадров на основе текущего состояния и поступающих кинематических данных робота.
Важно отметить, что система не ограничена одной платформой. В рамках сотрудничества с компаниями CMR Surgical и Cambridge Consultants, Cosmos-H-Dreams была успешно интегрирована с хирургическим контроллером Versius. Это доказывает универсальность подхода: модель способна адаптироваться к различным роботизированным платформам, обеспечивая интерактивную работу в замкнутом контуре. Теперь симулятор не просто «показывает видео», он реагирует на действия в реальном времени, создавая среду, пригодную для обучения и тестирования.
02Магия дистилляции: как сделать большую модель быстрой
Главный технический вызов при создании таких систем — сохранить высокую точность моделирования хирургической динамики, одновременно drastically снизив вычислительные затраты. Полноценные мировые модели требуют множества шагов диффузии для генерации одного кадра, что делает их непригодными для интерактивного использования. NVIDIA решила эту задачу с помощью сложного конвейера обучения «учитель-ученик» (teacher-to-student).
Хирургический учитель
Процесс начинается с создания «учителя» — бидирекционной модели, основанной на чекпоинте Cosmos-H-Surgical-Simulator. Для версии dVRK используется унифицированное 44-мерное представление действий, в которое маппируются данные о перемещении, вращении и состоянии захвата двух манипуляторов. Уникальность обучения учителя заключается в том, что он тренируется не только на успешных демонстрациях, но и на сценариях с ошибками: падении иглы, промахах при броске или неудачных узлах. Это критически важно, так как симулятор должен уметь предсказывать последствия неидеальных действий, а не только идеальных сценариев.
Для обеспечения стабильности при длинных последовательностях (rollouts) процесс обучения прогрессивно увеличивает временной горизонт учителя. Старт происходит с 12 кадров, и постепенно этот показатель доводится до 72 кадров. На каждом этапе инициализация происходит с использованием предварительно обученных весов, что помогает модели сохранять контекст на длительных отрезках времени.
Причинная инициализация и самонавязывающая дистилляция
После подготовки учителя начинается этап «причинной инициализации» (Causal Warmup). Траектории денормализации учителя предварительно вычисляются и кэшируются. Причинный ученик инициализируется на основе учителя и обучается имитировать эти кэшированные траектории. Этот этап учит ученика работать с причинным вниманием (causal attention) и потоковым кэшем ключей и значений (KV cache), прежде чем он начнет учиться на основе собственных сгенерированных историй.
Однако самое интересное происходит на этапе самонавязывающей дистилляции (Self-Forcing Distillation). Авторегрессивные модели часто страдают от проблемы накопления ошибок: во время обучения они видят чистый контекст (ground truth), а при развертывании вынуждены опираться на свои же неточные выводы. Даже небольшая ошибка может со временем привести к полному развалу симуляции. Cosmos-H-Dreams решает эту проблему, заставляя ученика продвигаться вперед, используя свой собственный сгенерированный контекст. Дистрибутивное согласование (distribution-matching) от замороженного учителя направляет эти самосгенерированные последовательности к реалистичному хирургическому видео. Это подготавливает модель к тем же условиям, которые она встретит при интерактивном выводе.
Результатом этого процесса становится модель, поддерживающая диффузию с малым числом шагов. Ученику требуется всего два шага денормализации на латентный кадр, что кардинально отличается от многоступенчатого процесса полного учителя. Это сочетание хирургических prior-знаний учителя и причинной структуры, необходимой для потоковой передачи, и делает возможным работу в реальном времени.
03FlashDreams: Двигатель реального времени
Дистилляция модели — это лишь половина дела. Вторая половина — это эффективный вывод (inference). Для этого NVIDIA разработала FlashDreams — библиотеку ускоренного вывода, специально созданную для авторегрессивных мировых и видео-моделей. Именно FlashDreams превращает дистиллированного ученика в систему с низкой задержкой.
Оптимизации в FlashDreams включают несколько ключевых технологий:
- Потоковый кэш KV (Streaming KV Cache): Позволяет переиспользовать вычисленные ключи и значения для предыдущих кадров, избегая повторных вычислений.
- Захват CUDA Graphs: Минимизирует накладные расходы на запуск ядра GPU, обеспечивая более плавное выполнение операций.
- Компиляция модели: Оптимизация вычислительного графа для конкретного оборудования.
Вместе эти техники позволяют перевести модель из режима примерно 10 кадров в секунду (характерного для стандартного вывода Cosmos-H-Surgical-Simulator) в интерактивный режим с частотой около 160 кадров в секунду на одном GPU NVIDIA RTX PRO 6000. Это невероятный показатель, который делает симуляцию практически неотличимой от реальности по скорости отклика.
Помимо вычислительной части, система предоставляет интерфейсы для взаимодействия. Браузерный клиент может отправлять команды с клавиатуры и получать сгенерированные кадры через WebRTC. Клиент Meta Quest может отображать синтезированную сцену через WebXR, маппируя движения контроллеров в действия робота. Это открывает двери для иммерсивного обучения и удаленного управления.
04Адаптация под собственные данные
Хотя Cosmos-H-Dreams поставляется с предварительно обученным чекпоинтом для настольного шитья, система спроектирована с учетом расширяемости. Исследователи и разработчики могут обучить свою собственную модель реального времени для специфических задач и датасетов. NVIDIA предоставляет полный рецепт (step-by-step guide) для дообучения учителя и самонавязывающей дистилляции. Это означает, что любая команда, имеющая данные с хирургических роботов, может создать свой собственный высокоскоростной симулятор, учитывающий специфику их оборудования и процедур.
05Что это значит на практике
Внедрение Cosmos-H-Dreams открывает новую эру для хирургической симуляции и развития Physical AI. Вот несколько ключевых направлений, где эта технология уже сейчас меняет правила игры:
- Замкнутые контуры обучения: Симуляторы теперь могут использоваться не только для офлайн-анализа, но и для активного обучения политик (reinforcement learning). Алгоритм может взаимодействовать с симулятором, получать обратную связь и корректировать действия в реальном времени, что значительно ускоряет процесс обучения.
- Генерация редких событий: Одной из главных проблем обучения роботов является недостаток данных о редких, но критических ошибках. Cosmos-H-Dreams может генерировать такие сценарии «по требованию», позволяя обучать системы безопасности и отказоустойчивости без риска для пациентов.
- Оценка политик: Быстрая оценка новых политик становится возможной без привязки к дорогостоящему физическому оборудованию. Это снижает барьер для входа в область исследований хирургической робототехники.
- Предоперационное планирование: В будущем технология может использоваться для интерактивного репетиционирования процедур. Хирург сможет «пройти» операцию в виртуальной среде, созданной на основе реальных данных пациента, чтобы отработать сложные этапы.
Важно подчеркнуть, что Cosmos-H-Dreams — это исследовательская и разработческая платформа, а не диагностическая система или замена интраоперационной визуализации. Однако она предоставляет фундамент для безопасного исследования этих возможностей. По мере улучшения точности моделей, временной стабильности и эффективности оборудования, генеративная симуляция в реальном времени сможет объединить образование хирургов, генерацию синтетических данных, обучение политик и их оценку в единой среде Physical AI.
Если вы работаете в области робототехники, компьютерного зрения или медицинского ИИ, Cosmos-H-Dreams предлагает уникальный инструмент для ускорения ваших исследований. Доступ к коду, моделям и данным уже открыт в экосистеме Hugging Face и GitHub, что позволяет каждому заинтересованному специалисту начать эксперименты прямо сейчас.
Источник: Hugging Face ↗