Проблема западоцентричности ИИ
Большие языковые модели (LLM) используются по всему миру, но их ответы часто отражают исключительно западные ценности, игнорируя локальные культурные нормы. Это создает барьер для глобального внедрения ИИ. Авторы исследования — Dhruv Agarwal, Anya Shukla, Tanya Goyal и Aditya Vashistha — предлагают решение: датасет PLURAL, основанный на данных Интегрированного опроса ценностей (IVS), который охватывает 92 страны.
Масштаб и структура данных
Первая версия PLURAL содержит около 500 000 предпочтительных триплетов (preference triplets). Данные сгенерированы с использованием двухэтапного конвейера, который трансформирует реальные ответы опросов в реалистичные сценарии, сохраняя нормативные сигналы ценностей. В датасет включены репрезентативные данные из 20 разнообразных стран.
Результаты валидации и бенчмарки
Исследователи провели три типа оценки эффективности датасета. Ключевым показателем стало снижение средней абсолютной ошибки (MAE) при обучении моделей на PLURAL по сравнению с сильными базовыми линиями. Ниже приведены основные метрики:
| Метрика / Тип оценки | Результат / Описание |
|---|---|
| Снижение ошибки (MAE) | До 27.7% относительно базовых моделей |
| Объем датасета | ~500 000 предпочтительных триплетов |
| Географический охват | 20 стран (включая Индию, Бразилию, Японию) |
| Человеческая оценка | 176 респондентов подтвердили культурную релевантность ответов |
Слепое тестирование с пользователями
Для проверки качества была проведена слепая оценка с участием 176 человек из Индии, Бразилии и Японии. Участники оценивали ответы моделей, обученных на PLURAL, как более репрезентативные для их национальных ценностей по сравнению с контрольными моделями. Это подтверждает, что датасет содержит обучаемый сигнал для «управления» ценностями (value steering), делая ИИ более инклюзивным.
Источник: arXiv cs.CL ↗