Революция в контроле рук и объектах
LynnReal-Hand — это видео-модель мира (World Model) с архитектурой на 33 миллиарда параметров, способная генерировать видео, где руки взаимодействуют с окружением. В отличие от стандартных генераторов, модель принимает на вход не только текстовый промпт и начальное изображение, но и траекторию движения камеры и артикулированные движения рук. Это позволяет точно контролировать действия: захват, отпускание, бimanуальные взаимодействия.
Ключевая особенность — метод Interaction-Preserving Training (IPT). Модель обучена на 100K клипах с взаимодействием, используя многоуровневый надзор, ориентированный на кисти рук. Это обеспечивает высокую точность в зонах контакта, где большинство моделей «размывают» детали.
Две версии: Base и Fast
Репозиторий предлагает два режима работы, оптимизированных под разные задачи:
- LynnReal-Hand-Base: Полносеквенциальная генерация (bidirectional) в разрешении 1344×768. Идеально для максимального качества, но требует больше времени.
- LynnReal-Hand-Fast: Причинная генерация (causal) с тремя шагами сэмплирования. Работает в потоковом режиме (streaming), используя фиксированный якорь первого кадра и скользящее окно контекста. Разрешение 960×540 (или 1344×768 в специфичном конфиге).
Производительность и метрики
Главное достижение LynnReal-Hand — скорость. Благодаря Ultra-Fast-VAE (компактный декодер, восстановленный через дистилляцию) и оптимизациям для NVIDIA H200, модель демонстрирует рекордные показатели для своего класса.
| Модель | Параметры | Разрешение | Задержка (с) | FPS | Пиковая VRAM (GiB) |
|---|---|---|---|---|---|
| JointControlVideo | 14B | 768p | 1320.324 | 0.053 | 59.50 |
| Generated Reality | 5B | 768p | 446.484 | 0.221 | 15.87 |
| Hand2World-Bi | 5B | 768p | 104.682 | 1.195 | 59.67 |
| Hand2World-AR | 5B | 768p (4 кадра) | 0.437 | 8.646 | 33.44 |
| LynnReal-Hand-Base | 33B | 768p | 770.155 | 0.136 | 82.59 |
| LynnReal-Hand-Fast | 33B | 540p | 0.741 | 18.03 | 34.89 |
Как видно из таблицы, LynnReal-Hand-Fast обеспечивает 18.03 FPS при задержке всего 741 мс на чипе H200, потребляя менее 35 GiB видеопамяти. Это делает её одной из самых быстрых 33B-моделей для генерации видео с контролем рук.
Технические детали и запуск
Модель требует Linux, Python 3.10, PyTorch 2.9.1 и CUDA 12.8. Для работы необходим сборочный инструмент FlashAttention-3. Генерация поддерживает входные данные длиной 124, 158, 243 или 260 кадров. Модель использует официальный энкодер MiniMax H3 VAE и Qwen для обработки изображений/текста.
Для разработчиков доступен CLI-интерфейс с командами prepare (подготовка кэша условий) и infer (генерация). Поддерживается режим --accelerated для использования CUDA Graphs после первого запуска, что ускоряет последующие итерации.
Источник: Github ↗
