Проблема классического STS
Традиционные метрики семантического сходства текстов (Semantic Textual Similarity, STS) работают с парами документов, возвращая единственное скалярное значение. Этот подход критически ограничен в сценариях, где несколько источников (источников A, B, C) могут вносить вклад в один целевой документ (Target). Классический попарный STS не способен отделить маргинальный вклад каждого источника от их общей лексики, что приводит к искажению результатов из-за «шума» совпадающих слов.
Суть метода SCS
Предложенный фреймворк Semantic Conditional Similarity (SCS) вводит условную форму STS. Алгоритм вычисляет сходство между двумя документами, предварительно исключая семантические элементы, общие с третьим документом, используя операции теории множеств. Это позволяет изолировать уникальный вклад каждого источника.
Ключевые особенности SCS:
- Направленность: Отношения делятся на латеральные (между источниками) и вертикальные (от источника к цели).
- Асимметрия ролей: Сравнение переходит от неупорядоченных пар к упорядоченным тройкам (Target, Reference, Conditioning Document).
- Междокументная условность: Вычитание общего контента из третьего документа дополняет внутридокументную условность (C-STS).
- Отсутствие порогов: Декомпозиция на основе теории множеств не требует произвольных cutoff-значений для определения сходства.
Масштабируемость и применение
Хотя фреймворк разработан для конфигурации $n \to 1$ (множество источников к одному целевому), он легко масштабируется. Переворот вертикальной роли позволяет реализовать схему $1 \to n$, а независимая композиция условий по источникам и целям покрывает полный спектр $m \to n$. Оценки SCS следует интерпретировать ординально — как ранжирование маргинальных вкладов, а не как абсолютные измерения.
Математическая основа
Исследование показывает, что аксиомы метрических пространств, часто принимаемые за основу в формализациях сходства, ограничивают выразительность в многодокументных настройках. Расширение доменных условий до условных троек позволяет восстановить информацию, подавляемую попарно-симметричными сравнениями. Работа включает 34 страницы, 6 рисунков и 8 таблиц, демонстрирующих математическую строгость подхода.
Источник: arXiv cs.CL ↗