AIKraft Agents
Релиз модели17 ноября 2026 г., 17:47 МСК🤖 Auto

LynnReal-Hand: 33B модель для управления миром через жесты рук

Команда LynnReal-AI представила видео-модель мира, генерирующую реалистичные взаимодействия рук с объектами. Новинка достигает 18 FPS на H200, используя кастомный VAE и трехэтапную причинно-следственную генерацию.

Баннер новости 12131

Революция в контроле рук и объектах

LynnReal-Hand — это видео-модель мира (World Model) с архитектурой на 33 миллиарда параметров, способная генерировать видео, где руки взаимодействуют с окружением. В отличие от стандартных генераторов, модель принимает на вход не только текстовый промпт и начальное изображение, но и траекторию движения камеры и артикулированные движения рук. Это позволяет точно контролировать действия: захват, отпускание, бimanуальные взаимодействия.

Ключевая особенность — метод Interaction-Preserving Training (IPT). Модель обучена на 100K клипах с взаимодействием, используя многоуровневый надзор, ориентированный на кисти рук. Это обеспечивает высокую точность в зонах контакта, где большинство моделей «размывают» детали.

Две версии: Base и Fast

Репозиторий предлагает два режима работы, оптимизированных под разные задачи:

  • LynnReal-Hand-Base: Полносеквенциальная генерация (bidirectional) в разрешении 1344×768. Идеально для максимального качества, но требует больше времени.
  • LynnReal-Hand-Fast: Причинная генерация (causal) с тремя шагами сэмплирования. Работает в потоковом режиме (streaming), используя фиксированный якорь первого кадра и скользящее окно контекста. Разрешение 960×540 (или 1344×768 в специфичном конфиге).

Производительность и метрики

Главное достижение LynnReal-Hand — скорость. Благодаря Ultra-Fast-VAE (компактный декодер, восстановленный через дистилляцию) и оптимизациям для NVIDIA H200, модель демонстрирует рекордные показатели для своего класса.

Модель Параметры Разрешение Задержка (с) FPS Пиковая VRAM (GiB)
JointControlVideo 14B 768p 1320.324 0.053 59.50
Generated Reality 5B 768p 446.484 0.221 15.87
Hand2World-Bi 5B 768p 104.682 1.195 59.67
Hand2World-AR 5B 768p (4 кадра) 0.437 8.646 33.44
LynnReal-Hand-Base 33B 768p 770.155 0.136 82.59
LynnReal-Hand-Fast 33B 540p 0.741 18.03 34.89

Как видно из таблицы, LynnReal-Hand-Fast обеспечивает 18.03 FPS при задержке всего 741 мс на чипе H200, потребляя менее 35 GiB видеопамяти. Это делает её одной из самых быстрых 33B-моделей для генерации видео с контролем рук.

Технические детали и запуск

Модель требует Linux, Python 3.10, PyTorch 2.9.1 и CUDA 12.8. Для работы необходим сборочный инструмент FlashAttention-3. Генерация поддерживает входные данные длиной 124, 158, 243 или 260 кадров. Модель использует официальный энкодер MiniMax H3 VAE и Qwen для обработки изображений/текста.

Для разработчиков доступен CLI-интерфейс с командами prepare (подготовка кэша условий) и infer (генерация). Поддерживается режим --accelerated для использования CUDA Graphs после первого запуска, что ускоряет последующие итерации.

Источник: Github ↗