Проблема: скамы развиваются во времени
Финансовые мошенничества, нацеленные на пожилых людей, редко происходят в один контакт. Они разворачиваются в несколько этапов: от имитации личности или случайного контакта до построения доверия, создания срочности и, наконец, запроса на передачу средств или конфиденциальных данных. Традиционные модели, анализирующие текст «в лоб», часто пропускают эти постепенные сигналы риска.
Решение: инкрементальная оценка риска
Авторы (Parviz Ghafariasl, Weimin Fu, Xiaolong Guo, Shing I. Chang) предложили фреймворк, который непрерывно обновляет оценку риска по мере поступления новых реплик в диалоге. Система агрегирует реплики и пересчитывает уровень угрозы на каждом шаге. Это позволяет выявлять атаки в реальном времени, даже на устройствах с ограниченными ресурсами.
Данные и модели
Для обучения был создан многошаговый диалоговый датасет, охватывающий сценарии инвестиционного мошенничества, благотворительных скамов и техподдержки. Каждая беседа содержит от 2 до 8 реплик. Каждая реплика аннотирована:
- Качественным уровнем риска
- Непрерывным баллом риска
- Объяснением (rationale)
- Рекомендацией по безопасности
Были тонко-настроены (fine-tuned) четыре малые языковые модели (SLM) в едином обучающем фреймворке:
- Phi-4
- LLaMA-3.2
- DeepSeek-R1
- Qwen3
Результаты: лидерство компактных моделей
Ключевой вывод исследования: компактные модели способны улавливать лингвистические признаки мошенничества и паттерны эскалации между репликами, не уступая более крупным аналогам в специфичной задаче. Phi-4 и LLaMA-3.2 продемонстрировали наиболее сильную способность к оценке риска, учитывающую контекст предыдущих реплик (turn-aware risk estimation), относительно их размера параметров.
| Модель | Тип | Ключевая особенность в исследовании |
|---|---|---|
| Phi-4 | Small Language Model | Лучшая производительность в оценке риска с учетом контекста реплик |
| LLaMA-3.2 | Small Language Model | Высокая эффективность, сопоставимая с Phi-4, при компактной архитектуре |
| DeepSeek-R1 | Small Language Model | Участвовала в сравнении, уступила лидерам в метрике turn-aware |
| Qwen3 | Small Language Model | Участвовала в сравнении, уступила лидерам в метрике turn-aware |
Почему это важно
Результаты подтверждают потенциал использования компактных языковых моделей для защиты пользователей в условиях ограниченных ресурсов. Такие модели можно развертывать на мобильных устройствах (on-device), что обеспечивает:
- Конфиденциальность: данные диалога не покидают устройство пользователя.
- Скорость: инкрементальная обработка позволяет реагировать на угрозы в реальном времени.
- Доступность: работа на широком спектре устройств без необходимости облачных вычислений.
Исследование демонстрирует, что структурированное кумулятивное моделирование может стать основой для новых систем защиты от финансовых мошенничеств, ориентированных на уязвимые группы населения.
Источник: arXiv cs.AI ↗