Исследователи из Университета Массачусетса в Амхерсте (Amit Sarker, Moumita Choudhury, Saaduddin Mahmud, Shlomo Zilberstein) опубликовали работу, посвященную уязвимости LLM-агентов в повторяющихся многопартийных переговорах. В то время как классические мультиагентные системы используют явные модели доверия, современные LLM часто рассматривают доверие как эмерджентное свойство, что делает их подверженными манипуляциям.
Суть эксперимента и «разрыв доверия»
Авторы предложили фреймворк, где агенты участвуют в серии многопроблемных переговоров, а один из участников тайно пытается сорвать сделку. После каждой игры агенты оценивают оппонентов и обновляют попарные оценки доверия. Ключевой вывод — так называемый «разрыв доверия» (trust–agreement gap): агенты способны быстро (за несколько раундов) идентифицировать противника, но точные оценки доверия не автоматически приводят к лучшим результатам переговоров.
Критическая роль явных инструкций
Исследование показало, что само по себе наличие данных о доверии недостаточно. Чтобы доверие реально влияло на исход, агенты должны быть явно инструктированы использовать эти оценки в процессе принятия решений. Без таких указаний агенты игнорируют накопленную репутацию, даже если она верна.
| Параметр | Результат |
|---|---|
| Скорость идентификации противника | Несколько раундов переговоров |
| Прирост частоты соглашений | До +23 процентных пункта |
| Условие эффективности доверия | Явное руководство по использованию оценок в рассуждениях |
Значение для индустрии
Результаты важны для разработки автономных агентов, представляющих интересы пользователей или компаний. Просто «обучить» модель различать надежных и ненадежных партнеров недостаточно; необходимо проектировать архитектуру рассуждений так, чтобы оценки доверия активно интегрировались в стратегию переговоров. Это меняет подход к безопасности и эффективности мультиагентных систем на базе LLM.
Источник: arXiv cs.AI ↗