Проблема усредненных мнений
Большие языковые модели (LLM) всё чаще применяются в сферах, требующих культурной чувствительности. Однако существующие методы выравнивания (alignment) часто оперируют слишком грубыми демографическими категориями, игнорируя вариативность мнений внутри одной группы. Это приводит к тому, что модель генерирует усредненный, «стерильный» ответ, не отражающий реального разнообразия позиций.
Решение: Инференс-моделирование
Команда исследователей во главе с Мэн-Ченом У (Meng-Chen Wu) предложила метод Demographic Pluralism. Ключевое отличие подхода — работа на этапе инференса (inference-time). Метод позволяет оценивать распределение мнений на уровне популяции, генерируя несколько перспектив внутри демографически обоснованных групп. При этом не требуется:
- Данных для обучения распределению мнений;
- Специфического дообучения (fine-tuning) под конкретную задачу.
Результаты бенчмарков
Метод был протестирован на четырех различных архитектурах (backbones) с использованием датасетов GlobalOpinionQA и VITAL. Основной метрикой стала дистанция Дженсена-Шеннона (Jensen-Shannon distance), измеряющая расхождение между предсказанным и реальным распределением мнений. Demographic Pluralism показал значительное улучшение по сравнению с методом Modular Pluralism.
| Метрика / Параметр | Результат / Наблюдение |
|---|---|
| Снижение дистанции Дженсена-Шеннона | 8.4% – 26.4% (по сравнению с Modular Pluralism) |
| Лучший метод агрегации | Равное взвешивание (equal weighting) |
| Влияние веса группы на ошибку | Ошибка растет при увеличении веса группы, что объясняет слабость взвешенной агрегации |
Почему это важно
Исследование демонстрирует, что для создания более честных и репрезентативных AI-систем не всегда нужно тратить ресурсы на переобучение моделей. Правильная организация процесса генерации на этапе инференса позволяет уловить нюансы человеческих предпочтений, что критически важно для применения LLM в социальных науках, журналистике и персонализированных сервисах.
Источник: arXiv cs.AI ↗