Проблема: Ложные срабатывания в анализе соцсетей
Анализ долгосрочных историй в социальных сетях для выявления симптомов депрессии — перспективное, но сложное направление. Традиционные подходы, основанные на семантическом сходстве, часто извлекают нерелевантные посты или цитаты других людей, что приводит к ложным выводам при заполнении стандартизированных опросников (например, BDI). Ключевая проблема — отсутствие атрибуции: система не может гарантировать, что текст написан самим пользователем и относится именно к его состоянию.
Решение: Архитектура SREE
Команда исследователей Sumanth Manduru и Carlotta Domeniconi предложила пайплайн SREE (Symptom Retrieval and Evidence-Grounded InfErence). В отличие от простых поисковиков, SREE выполняет три критических шага:
- Извлечение спанов: выделяет только текстовые фрагменты от первого лица, явно описывающие симптомы.
- Селекция: использует объективную функцию на базе Facility Location для выбора репрезентативного подмножества доказательств, исключая дубликаты и шум.
- Инференс: применяет Evidence-Gated Inference, принимая решение о диагнозе только на основе отфильтрованных «свидетельств».
Результаты: Цифры и бенчмарки
Оценка проводилась на датасетах BDI-Sen (для поиска доказательств) и eRisk 2019-2021 (для вывода ответов на вопросы опросника). SREE демонстрирует статистически значимое превосходство над state-of-the-art методами плотного поиска (dense retrieval), особенно в условиях ограниченного бюджета выборки.
| Метрика / Датасет | Показатель SREE | Улучшение (Relative Improvement) | Примечание |
|---|---|---|---|
| Post-level Precision (BDI-Sen) | — | +70% | Точность на уровне постов |
| F1 Score (BDI-Sen) | — | +59% | Баланс точности и полноты |
| Объем данных | — | −30% | Требуется меньше постов для вывода |
| Exact Item-level Agreement (eRisk) | Лидер | — | Высшая точность совпадений с аннотациями |
Почему это важно
Результаты показывают, что локализация атрибутируемых доказательств (attributable evidence) критически важна для клинически значимого ИИ. SREE не просто находит похожие тексты, а формирует «досье» симптомов, что снижает риск ложной диагностики. Это открывает путь к созданию этичных и точных инструментов скрининга ментального здоровья, работающих с реальными данными пользователей без необходимости их активного участия в опросах.
Источник: arXiv cs.CL ↗
