Проблема статичной демографии
В области перспективистского NLP (Perspectivist NLP) давно известно, что позиция аннотатора влияет на разметку субъективных задач. Однако традиционный подход сводит «позициональность» к заполнению демографической анкеты при найме. Этот метод предполагает, что знание, связанное с демографией, активно просто потому, что оно записано, игнорируя контекст и текущее состояние аннотатора. Авторы статьи из arXiv (2610.12701) ставят под сомнение это допущение, предлагая рассматривать его как проблему дизайна интерфейса.
Решение: метод AXLE
Команда разработала AXLE (Activating the Annotator) — этап предварительной разметки, который интегрирует «прожитый опыт» (lived experience) непосредственно в процесс. Механизм работает так:
- Аннотатору показывается сценарий (vignette), привязанный к теме задачи.
- Проводится короткая беседа, направляемая по оси (axis-guided conversation).
- Результат синтезируется в микро-нарратив от первого лица.
- Этот нарратив возвращается аннотатору перед началом непосредственной разметки, «активируя» его личный опыт.
Результаты эксперимента
Исследование проводилось в формате 2x2 between-subjects study с участием 104 аннотаторов. Было обработано 30 элементов, что дало в общей сложности 1 040 аннотаций. Объектом стали неоднозначные случаи hate speech (языка вражды), связанные с иммиграцией, религией и гендером. Использование AXLE показало следующие метрики:
| Метрика | Результат применения AXLE | Интерпретация |
|---|---|---|
| Identity Resonance | Выше | Аннотаторы лучше чувствуют связь с темой через свой опыт. |
| Чувствительность к вреду | Выше | Более точное выявление потенциально опасного контента. |
| Энтропия меток | Выше | Разметка стала более разнообразной и менее предсказуемой. |
| Меж-аннотаторское согласие (IAA) | Ниже | Снижение консенсуса — это не ошибка, а проявление плюрализма мнений. |
Почему это важно для индустрии
Ключевой вывод исследования заключается в том, что AXLE не пытается «произвести консенсус», как это делает традиционное обучение аннотаторов. Вместо этого метод обнажает плюрализм перспектив. Снижение меж-аннотаторского согласия в данном контексте — это не провал качества, а индикатор того, что система учитывает многообразие человеческих реакций. Для разработчиков AI это означает сдвиг парадигмы: от стремления к унифицированной «истине» в субъективных задачах к моделированию спектра человеческих интерпретаций.
Источник: arXiv cs.CL ↗