Проблема: Разрыв между запросом и контекстом
Современные модели генерации видео часто игнорируют сложные инструкции, если они не совпадают с визуальным рядом. VIS-Ground решает эту проблему, объединяя три источника информации: источник знаний (Grounding source), уже созданное видео и запрос зрителя. Система анализирует пересечения этих данных, чтобы создать «зависимости», которые строго контролируют генерацию следующего фрагмента.
Методология: От абстракции к рендеру
Алгоритм работает в четыре этапа: Планирование (извлечение зависимостей), Проверка (верификация ограничений), Корректировка (редактирование плана) и Рендеринг. Ключевая инновация — индукция ограничений: в генерацию включаются только те зависимости, которые действительно важны для текущего запроса, что снижает шум и повышает точность.
Результаты: Лидерство на всех бэкбонах
В сравнении с сильными базовыми моделями (VideoGen-of-Thought, Direct Generation, MovieAgent), VIS-Ground демонстрирует значительное преимущество по метрике JCS (Joint Contextual Score). Система стабильно показывает лучшие результаты на трех разных видео-генераторах: Omni-1.1-Flash, Veo 3.1 и MiniMax-H3.
| Метрика / Модель | Omni-1.1-Flash | Veo 3.1 | MiniMax-H3 |
|---|---|---|---|
| Лучший результат (VIS-Ground) | 84.2 | 84.6 | 78.8 |
| Превосходство над базой | +12.3 vs VideoGen-of-Thought | +15.3 vs Direct Generation | +3.4 vs MovieAgent |
| Средний балл (Composite) | 71.9 | 69.3 | 75.4 |
Практическая польза: Интерактивное обучение
Система позволяет «паузить» историю и задавать вопросы. В эксперименте с участием 7 человек интерактивный режим с VIS-Ground повысил усвоение материала на +47.9 балла по сравнению с +32.1 балла в неинтерактивном режиме. Это открывает путь к созданию адаптивных обучающих видео и интерактивного сторителлинга.
Ограничения и будущие работы
Авторы отмечают, что система пока не идеальна: около 52% выходов по метрике «верность источнику» (Source Faithfulness) находятся в диапазоне ниже 50 баллов. Основные проблемы — пропуск деталей в сложных цепочках знаний и артефакты рендеринга текста/уравнений. Тем не менее, VIS-Ground задает новый стандарт для контекстно-зависимой генерации видео.
Источник: Github ↗