SeTox: Как LLM с поиском выявляют токсичные неологизмы в китайском интернете

Проблема скрытой токсичности

Неологизмы — новые слова или выражения, меняющие значение, — часто становятся инструментом для скрытой агрессии. Например, термин «country girl» (деревенская девушка) эволюционировал из нейтрального описания в стигматизирующий ярлык против феминизма. Такие слова кажутся безобидными, но их токсичность определяется общественным консенсусом, что делает их сложными для обнаружения традиционными системами модерации.

Решение SeTox: Поиск + LLM

Команда авторов (Shiyao Cui, Minlie Huang и др.) предложила фреймворк SeTox (Search-augmented Toxicity detection). Ключевая инновация заключается в том, что статические большие языковые модели (LLM) получают доступ к контексту из интернета в реальном времени. Это позволяет системе оценивать не только лексическое значение, но и текущее общественное восприятие термина.

Исследователи также разработали таксономию, классифицирующую происхождение токсичных неологизмов, и создали лексикон, охватывающий широко распространенные категории риска.

Результаты: Малая модель бьет гигантов

Эксперименты показали, что SeTox, работающий на моделях масштаба 3B параметров, превосходит по эффективности более крупные современные модели. Это доказывает масштабируемость подхода: для выявления скрытой токсичности важнее не размер модели, а доступ к актуальному внешнему контексту.

Значение для индустрии

Работа подчеркивает, что модерация контента в эпоху быстро меняющегося сленга требует динамического обновления знаний. Статические модели, обученные на исторических данных, не справляются с новыми формами агрессии. Подход SeTox предлагает путь к созданию более легких и эффективных систем безопасности, способных адаптироваться к изменениям в общественном дискурсе.

Источник: arXiv cs.CL ↗