В мире генеративного искусственного интеллекта, где скорость реакции имеет такое же значение, как и качество изображения, компания Kyutai сделала шаг, который может изменить правила игры для разработчиков интерактивных систем. Они выпустили CADRE (Causal AutoDiffusion Representation Encoder) — семейство открытых причинно-следственных диффузионных автоэнкодеров, специально спроектированных для работы в составе World Models (моделей мира). Но главная проблема, которую решает эта технология, не связана с качеством картинки в статике. Она касается фундаментального барьера интерактивности — задержки действия (action lag). Многие современные модели мира заимствуют автоэнкодеры из текстовых генераторов видео, упаковывая множество кадров в одно латентное представление. Это создает неизбежную задержку: модель должна «подождать», пока накопится достаточно данных, прежде чем сгенерировать следующий шаг. CADRE ломает этот паттерн, позволяя моделям реагировать менее чем за 230 миллисекунд при работе на 20 кадрах в секунду.
Это не просто очередная оптимизация. Это сдвиг парадигмы в том, как мы строим симуляции, игровые движки и робототехнические системы. Если вы когда-либо сталкивались с тем, что виртуальный агент или робот реагирует на действия пользователя с заметной паузой, вы понимаете, почему 230 мс — это критическая граница человеческого восприятия. CADRE предлагает решение, которое не только ускоряет процесс, но и сохраняет высокое качество генерации, превосходя многие существующие аналоги по ключевым метрикам. В этой статье мы подробно разберем, как устроена эта архитектура, почему она работает быстрее и лучше, и что это значит для разработчиков, работающих с агентами ИИ.
01Что такое CADRE и почему задержка убивает интерактивность?
Чтобы понять ценность CADRE, нужно сначала разобраться в архитектуре World Models. World Model — это тип искусственного интеллекта, который учится предсказывать будущее состояние среды на основе текущего состояния и действий агента. В контексте видео, это означает генерацию последовательности кадров, которые логически следуют друг за другом. Большинство современных подходов используют автоэнкодеры (AE) для сжатия видео в латентное пространство. Автоэнкодер сжимает входное видео в компактное представление (кодирование), а затем восстанавливает его из этого представления (декодирование).
Проблема возникает на этапе кодирования. Традиционные автоэнкодеры, такие как те, что используются в Wan 2.2 или LTX-2, часто сжимают несколько кадров в одно латентное представление. Например, если автоэнкодер сжимает 8 кадров в один латентный вектор, модель мира должна ждать, пока эти 8 кадров будут собраны, прежде чем она сможет начать генерацию следующего блока. При частоте 20 кадров в секунду (fps) это добавляет задержку в 400 миллисекунд (8 кадров / 20 fps = 0.4 с). Для человека, взаимодействующего с системой в реальном времени, такая задержка ощущается как «ватность» или отрыв от реальности. Исследования показывают, что люди начинают замечать задержку движения, когда она превышает 230 мс. CADRE решает эту проблему, изменяя саму природу сжатия.
02Архитектура CADRE: Как устроена скорость
Семейство CADRE состоит из 7 различных автоэнкодеров, каждый из которых имеет около 476 миллионов обученных параметров, плюс замороженный визуальный трансформер DINOv3 ViT-B/16 с 86 миллионами параметров. Общая модель мира, построенная на базе этих автоэнкодеров, насчитывает 1.2 миллиарда параметров. Видео обрабатывается в разрешении 288×512 пикселей.
Архитектура кодировщика (encoder) в CADRE во многом повторяет рецепт MIRA. Замороженный DINOv3 извлекает признаки для каждого патча (куска изображения) в каждом кадре. Затем одна обученная 3D-свертка сжимает эти признаки в латентное пространство с 64 каналами. Именно этот «бутылочное горлышко» (bottleneck) меняется между семью версиями автоэнкодеров. Параметр сжатия записывается как τ×s×s, где τ — количество кадров на один латентный токен, а s — пространственный фактор (размер пространственного токена). В CADRE значения τ варьируются, что позволяет выбирать между степенью сжатия и задержкой.
Декодер (decoder) — это причинно-следственный диффузионный трансформер, состоящий из 24 блоков. Его ключевая особенность — потоковая обработка (streaming). Он декодирует видео чанк за чанком, а не все сразу. Обучение происходит с помощью прогрессивной самодистилляции, что позволяет декодеру восстанавливать видео всего за 1 или 2 шага диффузии. Это происходит в рамках одного этапа обучения, без использования состязательных потерь (adversarial loss), что упрощает процесс и делает его более стабильным.
Обучение проводилось на 23 открытых источниках видео, что в сумме составляет около 76 000 часов контента. Датасет включает веб-видео, записи с роботов, видеозаписи вождения и игровые видео. Такое разнообразие помогает модели обобщать знания и работать в различных сценариях.
03Бенчмарки: CADRE против конкурентов
Для оценки производительности Kyutai обучили одну и ту же причинно-следственную диффузионную трансформерную модель (1.2B параметров) на каждом из автоэнкодеров. Тестирование проводилось в четырех средах: манипуляция роботом (ABC), манипуляция человеком (EgoDex), вождение (PhysicalAI AV) и навигация в помещении (RealEstate10K). Каждая модель видела 2 секунды реального видео, а затем генерировала 4.8 секунды.
Метрики оценки включают качество изображения (FID), качество движения (FVD) и следование действиям (ARR). ARR (Action Following Ratio) измеряется с помощью замороженного зонда обратной динамики. Значение ARR 1.0 соответствует идеальному совпадению с реальным видео. Чем выше ARR, тем лучше модель предсказывает последствия действий.
Результаты впечатляют. На одной видеокарте NVIDIA H100 (в формате bf16, батч 1) CADRE-2×32×32 реагирует за 185 мс и поддерживает частоту 23.4 fps при использовании одного шага декодирования. Для сравнения, автоэнкодер Wan 2.2 требует 317 мс, LTX-2 — 492 мс, а Cosmos — 605 мс. Хотя DC-AE быстрее (118 мс), он работает по кадрам, что может ограничивать его способность к долгосрочному предсказанию.
04Четыре ключевых вывода исследования
Исследование выявило четыре фундаментальных вывода, которые помогают понять, как оптимизировать World Models:
- Декодирование через диффузию: При сильном сжатии перцептивная регрессия (метод, используемый в некоторых автоэнкодерах) приводит к размытию. Диффузионные же модели, даже с одним шагом, генерируют более четкое видео, сохраняя детали.
- Сжатие времени в автоэнкодере: Патчинг (разбиение на куски) внутри самой модели мира приводит к потере деталей. При сжатии 8 кадров ARR падает с 0.72 до 0.56. Это означает, что лучше сжимать время на этапе автоэнкодера, а не внутри модели предсказания.
- Движение камеры определяет сжатие: Статичные камеры могут tolerate (терпеть) временное сжатие. Однако движущиеся камеры требуют меньшего количества кадров на латент и более грубых пространственных токенов. Это критично для приложений с дронов или автомобилей.
- Грубые токены первыми страдают от движения: В задачах манипуляции роботом пространственное сжатие 32× увеличивает FVD в 2.4 раза по сравнению с сжатием 16×. При этом FID (качество статического изображения) меняется незначительно. Это доказывает, что для динамических сцен качество движения важнее качества отдельного кадра.
05Сравнительная таблица: CADRE против других автоэнкодеров
Ниже приведено детальное сравнение CADRE с другими популярными автоэнкодерами, такими как MIRA, Wan 2.2, Cosmos и LTX-2. Обратите внимание на разницу в задержке и метриках качества.
| Функция | CADRE-2×32×32 | CADRE-2×16×16 | MIRA recipe | Wan 2.2 VAE | Cosmos CV8x8x8 | LTX-2 VAE |
|---|---|---|---|---|---|---|
| Сжатие (τ×s×s) | 2×32×32 | 2×16×16 | 2×32×32 | 4×16×16 | 8×8×8 | 8×32×32 |
| Токенов на 16 кадров | 1152 | 4608 | 1152 | 2304 | 4608 | 288 |
| Декодер | Causal diffusion, 1-2 шага | Causal diffusion, 1-2 шага | Perceptual regression | Causal | Causal | Non-causal, windowed |
| Задержка, 1 H100 | 185 мс | 216 мс | 175 мс | 317 мс | 605 мс | 492 мс |
| Макс. fps, 1 H100 | 23.4 | 17.3 | 26.6 | 34.2 | 39.0 | 87.4 |
| FVD, вождение (ниже лучше) | 171.3 | 162.6 | 311.6 | 599.7 | 452.5 | 913.3 |
| FVD, манипуляция роботом | 105.0 | 47.6 | 267.1 | 52.9 | 39.5 | 69.6 |
| ARR, манипуляция роботом (выше лучше) | 0.45 | 0.73 | 0.39 | 0.85 | 0.78 | 0.25 |
| Reconstruction PSNR (OpenVid-HD) | 22.86 | 25.12 | 24.44 | 35.02 | 31.39 | 28.24 |
Как видно из таблицы, CADRE-2×16×16 демонстрирует выдающиеся результаты по FVD в вождении (162.6 против 599.7 у Wan 2.2) и хороший баланс между ARR и качеством изображения. Однако стоит отметить, что в некоторых метриках реконструкции (PSNR) Wan 2.2 показывает лучшие результаты (35.02 dB против 25.12 dB у CADRE-2×16×16). Kyutai аргументируют это тем, что реконструкция не всегда предсказывает качество долгосрочных симуляций (rollouts). Wan 2.2, например, занимает последнее место по FVD в навигации в помещении, несмотря на высокую точность реконструкции отдельных кадров.
06Где CADRE уступает? Ограничения технологии
Несмотря на впечатляющие результаты, CADRE не является универсальным решением. В задачах манипуляции роботом Cosmos показывает FVD 39.5, что лучше, чем 47.6 у лучшей версии CADRE с одним шагом. В области скорости DC-AE превосходит CADRE-1×48×48 в манипуляциях. Кроме того, Wan 2.2 значительно лучше восстанавливает скрытые видео, что важно для задач, где требуется высокая точность реконструкции исходных данных.
Еще одна проблема — видимые швы между чанками при длительных латентных представлениях. При τ = 8 погрешность на границах чанков достигает 1.6–1.8 в различных средах. Также CADRE-4×24×24 показал аномально высокий FVD (403) в вождении, что указывает на нестабильность некоторых конфигураций. Важно отметить, что каждая модель мира в исследовании покрывала только одну среду при разрешении 288×512. Переносимость этих выводов на более общие модели (generalist models) остается открытым вопросом.
07Как разработчикам использовать CADRE?
Код проекта доступен на GitHub под лицензией MIT, что делает его отличным выбором для исследовательских и образовательных целей. Веса моделей размещены на Hugging Face под лицензией CC BY-NC 4.0, поэтому для коммерческого использования потребуется отдельное соглашение с Kyutai. Релиз включает 7 автоэнкодеров, 4 версии с мультиразрешением, обученные дольше, и 4 модели мира на базе CADRE-2×16×16.
Для тех, кто хочет попробовать технологию в действии, Kyutai предоставили живое демо, где можно управлять моделями с клавиатуры. Это позволяет наглядно оценить задержку и качество генерации. Для разработчиков, работающих в России, важно отметить, что запуск на одном GPU H100 требует значительных вычислительных ресурсов. Однако, учитывая открытость кода, возможно исследование вариантов квантования или оптимизации для более доступного оборудования, хотя такие варианты пока не раскрыты.
08Что это значит на практике
Выпуск CADRE знаменует собой важный шаг в развитии интерактивных AI-систем. Для разработчиков игр и симуляторов это означает возможность создания более отзывчивых NPC и физических сред, которые реагируют на действия игрока мгновенно. Для робототехники это может стать основой для обучения агентов в симуляторах, которые точно отражают реальность без задержек, мешающих обучению. Для исследователей World Models CADRE предоставляет новый стандарт для сравнения, смещая фокус с простого качества изображения на качество динамики и скорость реакции.
Хотя технология имеет свои ограничения, особенно в области коммерческого лицензирования и некоторых метрик реконструкции, ее преимущества в скорости и качестве движения делают ее одним из самых перспективных инструментов в арсенале разработчиков AI. Следующим шагом станет адаптация этих моделей для более широкого спектра задач и, возможно, появление коммерческих версий с улучшенными лицензиями.
09Заключение
Kyutai CADRE — это не просто еще один автоэнкодер. Это ответ на вызовы интерактивного ИИ, где скорость так же важна, как и точность. С задержкой менее 230 мс и превосходными результатами в динамических сценариях, CADRE открывает новые возможности для создания умных, отзывчивых и реалистичных виртуальных миров. Разработчикам стоит обратить внимание на этот проект, особенно если они работают в области агентов, робототехники или интерактивных симуляций. Исследуйте бумагу, блог Kyutai, репозиторий GitHub и коллекцию моделей, чтобы узнать больше. Все заслуги принадлежат исследователям проекта. Не забудьте подписаться на наши обновления в Twitter и присоединиться к нашему сообществу ML на Reddit.
Источник: MarkTechPost ↗