Проблема масштабирования анализа мемов
В условиях роста политической поляризации социальные сети стали ключевой ареной формирования нарративов. Однако существующие методы анализа имеют критические недостатки: качественные рамки трудно масштабировать, а вычислительные подходы часто лишены теоретической базы. Более того, предыдущие исследования рассматривали категории изолированно, фокусируясь исключительно на моральных аспектах, игнорируя сложную структуру мемов.
Структура датасета IRON-Meme
Команда авторов во главе с Габриеллой Болличи (Gabriella Bollici) разработала фреймворк, основанный на теориях социальных наук. Датасет включает 1110 аннотированных вручную политических мемов, охватывающих значительно больше шаблонов, чем предыдущие аналоги. Анализ строится по трем ключевым осям:
- Социальные идентичности: пол, политика, этническая принадлежность.
- Точки зрения: перспективы «своих» (ingroup) и «чужих» (outgroup).
- Нарративные роли: моральный характер, интеллект, статус и власть.
Результаты тестирования VLM-моделей
Авторы протестировали на датасете IRON-Meme девять современных моделей компьютерного зрения и языка (Vision-Language Models). Результаты показали, что модели масштаба frontier и модели с развитыми способностями к рассуждению (reasoning models) демонстрируют наивысшую точность. Однако производительность падает при работе с редкими метками, особенно в категориях социальных идентичностей и нарративных ролей.
Ключевые выводы и метрики
Анализ выявил системную взаимосвязь между идентичностями, ролями и шаблонами мемов. Большинство мемов присваивают персонажам уничижительные роли. Примечательно, что добавление знаний о шаблоне (template background knowledge) не улучшило классификацию нарративных ролей, что указывает на зависимость интерпретации от контекста адаптации мема для конкретных коммуникативных целей.
| Категория анализа | Описание в IRON-Meme | Ключевая находка |
|---|---|---|
| Социальные идентичности | Пол, политика, этничность | Точность снижается для редких меток |
| Нарративные роли | Мораль, интеллект, статус, власть | Доминируют уничижительные роли |
| Влияние шаблона | Визуальная основа мема | Не улучшает классификацию ролей |
Датасет IRON-Meme и код для работы с ним опубликованы в открытом доступе, что открывает новые возможности для исследований в области computational social science.
Источник: arXiv cs.AI ↗