Проблема задержки в World Models
Большинство современных World Models используют автоэнкодеры, заимствованные из генеративных моделей текста в видео. Эти модели сжимают множество кадров в один латентный вектор, что создает задержку: пока модель «распакует» латент, проходит время. Для интерактивных приложений (робототехника, игры) критический порог задержки составляет около 230 мс — именно столько человек успевает осознать отставание движения. Если задержка превышает этот порог, взаимодействие становится некомфортным и неточным.
Архитектура и производительность CADRE
Kyutai выпустила семейство из 7 автоэнкодеров CADRE (Causal Diffusion Representation Autoencoders). В отличие от конкурентов, CADRE использует причинно-следственный (causal) диффузионный декодер, который обрабатывает видео чанками, а не целыми блоками. Это позволяет снизить задержку до 185 мс при работе на одной GPU NVIDIA H100 (bf16, batch 1) с частотой 23.4 fps.
Модель обучалась на 76 000 часов видео (драйвинг, робототехника, игры) и использует замороженный энкодер DINOv3 для извлечения признаков. Размер латентного пространства варьируется, но ключевым фактором стала оптимизация сжатия по времени (τ) и пространству (s).
Сравнение с конкурентами
В бенчмарках CADRE демонстрирует превосходство в скорости реакции и качестве движения (FVD) по сравнению с MIRA, Wan 2.2, Cosmos и LTX-2. Ниже приведены ключевые метрики для модели CADRE-2×32×32 (1 шаг декодирования) против лидеров рынка:
| Метрика / Модель | CADRE-2×32×32 | Wan 2.2 VAE | Cosmos CV8x8x8 | LTX-2 VAE |
|---|---|---|---|---|
| Задержка (Latency) | 185 мс | 317 мс | 605 мс | 492 мс |
| Макс. FPS (H100) | 23.4 | 34.2 | 39.0 | 87.4 |
| FVD (Драйвинг, ниже лучше) | 171.3 | 599.7 | 452.5 | 913.3 |
| ARR (Робототехника, выше лучше) | 0.45 | 0.85 | 0.78 | 0.25 |
| PSNR (Восстановление) | 22.86 | 35.02 | 31.39 | 28.24 |
Как видно, CADRE значительно превосходит конкурентов по метрике FVD (качество движения) в сценариях с движущейся камерой. Однако в метрике PSNR (точность восстановления пикселей) лидирует Wan 2.2, что подтверждает тезис авторов: высокая точность реконструкции не всегда гарантирует хорошее качество симуляции (rollout).
Ключевые выводы для разработчиков
- Сжатие времени vs пространства: Статичные камеры хорошо переносят временное сжатие, но при движении камеры (драйвинг, навигация) лучше использовать меньшее сжатие по времени и более грубые пространственные токены.
- Диффузия против регрессии: При сильном сжатии перцептивная регрессия размывает видео, тогда как диффузионное декодирование сохраняет резкость.
- Лицензирование: Код выпущен под лицензией MIT, веса моделей — CC BY-NC 4.0 (некоммерческое использование). Доступны 7 автоэнкодеров и 4 версии World Models.
Решение CADRE открывает путь к созданию по-настоящему интерактивных симуляторов, где ИИ-агенты могут реагировать на действия человека в реальном времени без заметной задержки.
Источник: MarkTechPost ↗