Технические прорывы и интеграция с Gemini
Google DeepMind выпустила Genie 4 в формате исследовательского превью. Ключевое отличие от предшественника (Genie 3) — увеличение лимита стабильности сцены до 2 минут (в 2 раза больше) и добавление генерации аудио в реальном времени, включая музыку, фоновые шумы и диалоги. Модель позволяет вносить изменения в симуляцию «на лету»: менять погоду, ракурс камеры или добавлять объекты без перезагрузки сцены.
Архитектура Genie 4 тесно связана с мультимодальной моделью Gemini. Gemini выступает в роли «режиссера», планируя шаги и проверяя кадры, в то время как Genie отвечает за визуализацию. В экспериментах с Gemini Robotics модель Gemini 4 Argon разбивала задачи на этапы, которые Genie 4 симулировала в реальном времени, что открывает путь к тестированию сценариев для роботов до их выхода в реальный мир.
Сравнение характеристик Genie 3 и Genie 4
| Характеристика | Genie 3 | Genie 4 |
|---|---|---|
| Максимальная длительность сцены | ~1 минута | До 2 минут |
| Генерация аудио | Отсутствует | Реальное время (музыка, шумы, диалоги) |
| Редактирование в реальном времени | Ограничено | Свободное (погода, камера, объекты) |
| Фотореализм и физика | Базовый | Повышенный, более человекоподобные персонажи |
Применение: от игр до прототипирования фильмов
Хотя коммерческие сценарии включают гейминг и интерактивное обучение, инженеры Google DeepMind выделяют новую нишу — прототипирование фильмов. Diego Rivas, инженер Google, отметил, что возможность быстрого изменения сцен в реальном времени критически важна на этапах идеации и раскадровки, позволяя сохранять творческий поток.
В долгосрочной перспективе Google планирует интегрировать Genie 4 с моделью Gemini Omni для превращения прототипов в готовые креативные активы. Также упоминается использование модели для симуляции исторических сцен, где пользователь может взаимодействовать с персонажами.
Ограничения и доступность
Несмотря на прогресс, модель все еще имеет недостатки. При длительной симуляции возможно «дрейфование» деталей и объектов. Также команда признает проблемы с точностью аудио и читаемостью текста внутри мира. Genie 4 доступна сейчас «доверенным тестерам», а в ближайшие недели станет доступна подписчикам Google AI Ultra в рамках Project Genie и раннему доступу Gemini API.
Источник: TechCrunch ↗