От черного ящика к прозрачности: новая парадигма
Команда исследователей во главе с Тяньлэ Ху (Tianle Hu) представила архитектуру для анализа постов в социальных сетях (SNS), которая решает критическую проблему интерпретируемости моделей машинного обучения. В отличие от традиционных классификаторов, выдающих лишь метку «риск/безопасность», новая система обеспечивает Evidence Grounding (привязку к доказательствам) и Factor Verification (верификацию факторов). Работа принята к публикации на IEEE ICDM 2026 в рамках воркшопа MHSM 2026.
Архитектура из трех этапов
Система работает по принципу конвейера, где каждый этап усиливает предыдущий:
- Risk Assessment (Оценка риска): Использует маршрутизацию на основе длины текста для адаптации к разным типам постов. Это позволяет эффективно обрабатывать как короткие статусы, так и длинные истории.
- Evidence Grounding (Поиск доказательств): Модель выделяет конкретные фразы, подтверждающие прогноз. Вводится Risk-Evidence constraint — строгое ограничение, гарантирующее, что выделенные фрагменты текста логически согласуются с итоговым прогнозом риска.
- Factor Identification (Идентификация факторов): На этом этапе используются два верификатора. Taxonomy Verifier анализирует семантику факторов, а Evidence-Aware Verifier использует лексико-семантические маркеры для выбора информативных обучающих единиц. Вероятности их предсказаний объединяются для финального вывода.
Результаты и метрики
Метрики эффективности демонстрируют высокую надежность системы на тестовых данных. Особенно впечатляющие результаты показаны в задачах оценки риска и поиска доказательств, тогда как идентификация тонких психосоциальных факторов остается более сложной, но решаемой задачей.
| Задача | Метрика | Результат | Значение |
|---|---|---|---|
| Risk Assessment | Weighted F1 | 0.8088 | Высокая точность общей классификации риска |
| Evidence Grounding | Macro row F1 | 0.7605 | Надежное выделение подтверждающих фраз |
| Factor Identification | Macro F1 | 0.5562 | Средний уровень детализации психосоциальных факторов |
Почему это важно
В контексте цифровой безопасности и психиатрии «черный ящик» недопустим. Врачи и модераторы должны понимать, почему система пометила пост как опасный. Представленная архитектура предоставляет не только прогноз, но и конкретные цитаты из текста и классификацию психосоциальных триггеров. Это переводит AI-инструменты из категории «предикторов» в категорию «ассистентов для принятия решений», что критически важно для спасения жизней в онлайн-среде.
Источник: arXiv cs.CL ↗