EspanStereo: как LLM и люди выявляют культурные стереотипы в испанском

Проблема англоцентризма в оценке предвзятости

Большинство исследований предвзятости (bias) в больших языковых моделях сосредоточено на английском языке. Это создает слепую зону: модели, обученные на глобальных данных, могут вести себя по-разному в зависимости от культурного контекста, что остается незамеченным из-за отсутствия качественных датасетов на других языках. Ручная аннотация для мало представленных культур слишком дорога и медленна.

Решение: Human-LLM коллаборация

Авторы (Weicheng Ma, John Guerrerio, Soroush Vosoughi) предложили фреймворк, который снижает стоимость создания датасетов. Процесс включает два этапа:

• Генерация: LLM генерирует кандидаты на стереотипные утверждения.
• Валидация: Аннотаторы, принадлежащие к конкретной культуре (in-culture annotators), проверяют и уточняют эти утверждения.

Этот подход позволил создать EspanStereo — датасет, охватывающий стереотипы, специфичные для разных стран, где говорят на испанском (как в Европе, так и в Латинской Америке).

Результаты тестирования моделей

Исследователи протестировали модели, поддерживающие испанский язык, используя EspanStereo. Выявлена значительная вариативность в поведении моделей: одни лучше справляются с латиноамериканским контекстом, другие — с европейским. Это доказывает, что единый бенчмарк не работает для всех регионов.

Значение для индустрии

Работа закладывает основу для кросс-культурной оценки предвзятости. Предложенный фреймворк масштабируем и может быть адаптирован для других языков и регионов, что критически важно для создания этичных и инклюзивных AI-систем глобального уровня.

Источник: arXiv cs.CL ↗