Визуальные подсказки повышают точность VLM в KGQA на 1.85 F1

Суть эксперимента

Команда исследователей во главе с Луизом ду Валле Мирандой провела контролируемый анализ влияния мультимодального ввода на задачу ответа на вопросы по графам знаний (KGQA). В исследовании использовался фиксированный пайплайн и шесть различных моделей Vision-Language Models (VLM). Тестирование проводилось на датасетах WebQSP и CWQ, охватывающих 1500 вопросов. Целью было сравнить эффективность текстовых промптов против промптов, дополненных визуализацией графа.

Ключевые метрики и результаты

Добавление изображения графа к текстовому запросу дало средний прирост метрики F1 на 1.85 балла. Однако этот эффект не был равномерным: значительный прирост точности (+4.65 F1) наблюдался именно на вопросах низкой сложности. Анализ показал, что масштаб модели не является критическим фактором для этого улучшения, тогда как дизайн визуализации играет решающую роль.

Влияние визуального дизайна

Исследование выявило сильную зависимость от способа отрисовки графа. Использование только изображения (без текста) резко снижало производительность. Наилучшие результаты показали иерархические макеты Graphviz, в то время как менее структурированные рендеры уступали им. Наибольший прирост точности был достигнут при декомпозиции больших подграфов на отдельные пути, что снижает визуальный шум.

Практические выводы

Авторы рекомендуют внедрять адаптивные политики визуальных подсказок. Это означает, что диаграммы следует добавлять выборочно — только к небольшим, визуально разреженным подграфам с хорошо структурированной компоновкой. Такой подход позволяет избежать избыточного визуального шума и накладных расходов на токены при обработке сложных запросов, оптимизируя баланс между точностью и эффективностью инференса.

Источник: arXiv cs.AI ↗