TSG: Как заставить видео-модели соблюдать хронологию событий

Проблема: хаос во времени

Современные модели генерации видео (Text-to-Video) отлично справляются с созданием визуальных объектов, но часто игнорируют их порядок появления, длительность и логику переходов. Если пользователь просит «сначала появится красный мяч, затем синий», модель может нарисовать их одновременно или в обратном порядке. Это критический барьер для создания осмысленных видеорядов.

Решение: формальная логика вместо подсказок

Команда авторов (Avishree Khare, Hideki Okamoto и др.) предложила метод Temporal Specification Guidance (TSG). Суть подхода — перевод естественных языковых требований в строгие спецификации на языке Метрической темпоральной логики (Metric Temporal Logic). TSG работает на этапе инференса (генерации), не требуя дообучения модели или внешних классификаторов.

Механизм работает через анализ аттеншн-механизмов видео-трансформера:

• Система оценивает «следы» визуальных концепций с помощью дифференцируемых количественных семантик.
• Градиенты этих оценок формируют направление для денoising-процесса.
• Результат интегрируется в процесс через attention biases, усиливая стандартное Classifier-Free Guidance (CFG).

Результаты: точность и эффективность

Метод был протестирован на бенчмарке из 220 промптов, охватывающих 11 категорий временных ограничений (включая упорядоченный вход объектов и переходы состояний). TSG продемонстрировал значительное улучшение по сравнению с базовым CFG на пяти различных моделях.

Почему это важно

TSG демонстрирует, что контроль над поведением нейросетей возможен без изменения их весов. Использование формальной логики как интерфейса для управления генерацией открывает путь к созданию более предсказуемых и надежных систем для кинопроизводства, симуляций и образовательного контента, где хронология событий так же важна, как и визуальная эстетика.

Источник: arXiv cs.AI ↗