MisVisAgentBench: Как обманчивые графики сбивают с толку AI-агентов

Проблема визуального обмана в веб-агентах

Веб-агенты всё чаще берут на себя рутинные задачи по анализу данных в интернете. Однако визуальные данные (графики, дашборды) не всегда нейтральны. Исследователи из команды Yisheng Li обнаружили, что агенты могут принимать ошибочные решения, основываясь на визуально вводящих в заблуждение элементах, даже если в тексте нет явных инструкций к ошибке. В отличие от обычного QA по графикам, здесь ошибка в интерпретации визуального ряда приводит к конкретным негативным действиям агента в веб-среде.

Методология: 280 пар «чистых» и «обманчивых» сценариев

Авторы представили MisVisAgentBench — первый парный исполняемый бенчмарк. Он состоит из 280 задач, сгруппированных в пары. В каждой паре условие задачи идентично, но визуальное доказательство (график) различается: в одной версии график корректен, в другой — содержит манипулятивные элементы (искаженные оси, некорректные масштабы и т.д.). Это позволяет изолировать влияние именно визуального обмана от сложности самой задачи.

Ключевые метрики и результаты

Бенчмарк был протестирован на 13 различных моделях Vision-Language Web Agents. Результаты показали систематический сбой в работе агентов при столкновении с обманчивыми визуализациями:

• Снижение успешности: Замена корректных графиков на обманчивые снизила средний показатель успешного выполнения задач более чем на 34 процентных пункта.
• Характер ошибок: Ошибки не были случайными. Агенты преимущественно следовали по ветке действий, подсказываемой обманчивым графиком, что указывает на систематическое перенаправление решений, а не просто на «запутывание» модели.
• Дополнительные шаги: Наблюдались признаки нерешительности и увеличение количества лишних шагов браузинга перед принятием неверного решения.

Значение для безопасности AI

Работа, принятая к публикации в EMNLP 2026, выделяет визуальную устойчивость (visualization robustness) как критически важный, но ранее недооцененный аспект безопасности веб-агентов. Если агенты не могут распознать манипулятивную визуализацию, они становятся уязвимыми для автоматизированных атак, направленных на искажение данных в реальном времени.

Источник: arXiv cs.CL ↗