Скорость против качества: как ускорили генерацию
Pika Labs представила Pika H3 Flex — модель, прошедшую пост-обучение на базе архитектуры MiniMax H3. Ключевое отличие новой версии — радикальное сокращение шагов генерации. Если стандартные модели требуют около 50 шагов, Flex работает за 6 шагов, сохраняя высокое качество изображения и звука.
В контролируемом бенчмарке генерация 15-секундного клипа в разрешении 768p с синхронизированным аудио занимала всего 7 секунд вычислений трансформера (DiT). Это позволяет творческим профессионалам быстро итерировать идеи, не теряя времени на ожидание рендера.
Мультимодальный контроль: 12 референсов и режиссура
Flex поддерживает работу с до 12 файлов-референсов одновременно. Пользователь может комбинировать изображения, видео и аудио, указывая, какой элемент должен влиять на результат. Модель позволяет:
- Задавать сложную камеру (наклон, панорама, орбита) в одном клипе.
- Использовать видео-референс для переноса хореографии или движения камеры на новый персонаж.
- Проводить "редактуру" кадра: менять фон или реквизит, сохраняя оригинальное движение актера.
Аудио-стемы и финализация в 4K
Модель генерирует видео с синхронизированным стерео-звуком. Через API можно запросить разделение звука на 5 отдельных дорожек (Dialogue, Score, SFX, Foley, Ambience), что упрощает постпродакшн. Исходное видео создается в 480p или 768p, после чего встроенный апскейлер Pika улучшает его до 1080p, 2K или 4K.
Открытые веса и лидерство в бенчмарках
Pika опубликовала веса генератора Flex и код инференса на Hugging Face и GitHub, позволяя разработчикам запускать модель на собственном оборудовании. На момент релиза Pika H3 Flex заняла 1-е место среди моделей с открытыми весами и 7-е место в общем зачете на лидерборде DesignArena.
| Параметр | Характеристика Pika H3 Flex |
|---|---|
| Базовая архитектура | MiniMax H3 (пост-обученная) |
| Шаги генерации | 6 шагов (вместо ~50) |
| Скорость (бенчмарк) | 7 секунд на 15-сек. клип (768p) |
| Макс. референсов | 12 файлов (изображения, видео, аудио) |
| Аудио-разделение | 5 стемов (диалог, музыка, SFX, фоли, окружение) |
| Разрешение (финал) | До 4K (апскейл с 768p) |
| Позиция в DesignArena | #1 среди open-weights, #7 общий |
Доступность
Модель доступна через Pika API Club. Полноценная интеграция в продукт Pika ожидается 2 ноября. Открытые веса уже доступны для скачивания, что открывает возможности для кастомизации под специфические задачи разработчиками.
Источник: Pika ↗