Проблема точного счета в видеоаналитике
Одной из самых сложных задач для мультимодальных моделей является не просто распознавание объектов, а точный подсчет их повторяющихся действий. В тестовом примере из репозитория VideoJev модели предлагается ответить на вопрос: «Сколько всего раз встречается сцена вырезания тыквы?» (carving pumpkin). Ожидается, что модель не просто обнаружит объект, но и просуммирует все инстансы во временной последовательности.
Сравнение производительности моделей
Результаты тестирования показывают существенный разрыв в эффективности между моделями разного размера. Компактная модель на 4 миллиарда параметров (4B) демонстрирует низкую точность, в то время как модель с архитектурой 35B-A3B (35 миллиардов параметров с активацией 3 миллиардов) справляется с задачей корректно, совпадая с ground truth.
| Модель | Параметры | Ответ на тест | Результат |
|---|---|---|---|
| 4B | 4 млрд | 5 | Ошибка (неверная интерпретация или пропуск) |
| 35B-A3B | 35 млрд (3.5B активные) | 5 | Верно (совпадение с Ground Truth) |
| Ground Truth | - | 5 | Эталонное значение |
Почему это важно
Этот кейс иллюстрирует ключевой тренд в развитии видео-LLM: для задач, требующих строгой логической цепочки и точного счета (counting), «легкие» модели часто не справляются из-за недостаточной емкости для удержания контекста. Архитектура VideoJev, судя по всему, оптимизирует использование параметров (через механизм активации, как указывает суффикс A3B), позволяя большой модели работать эффективно, достигая эталонных результатов там, где меньшие аналоги ошибаются.
Источник: Github ↗