Проблема «черного ящика» в мультиагентных системах
Современные фреймворки LLM-агентов все чаще используют протоколы Anthropic MCP (Model Context Protocol) для доступа к инструментам и Google A2A (Agent2Agent) для делегирования задач. Однако эти стандарты определяют лишь транспортный уровень и обнаружение сервисов, но не гарантируют стратегической корректности. Агенты могут достигать компромиссов, которые не являются рациональными с точки зрения теории игр, что создает риски в финансовых и логистических сценариях.
Методология: от неструктурированного диалога к верифицируемым схемам
Авторы (Wael Albayaydh, Rui Zhao) предложили фреймворк, который кодирует классические механизмы переговоров (торг по чередующимся предложениям, аукционы Викри-Кларка-Гровса) как ограничения в схемах сообщений A2A. Был внедрен слой верификации времени выполнения, проверяющий сообщения на соответствие инвариантам протокола. Эксперименты проводились на выборке N=30 для каждого условия, сравнивая неструктурированный диалог, структурированные протоколы и протоколы с верификацией.
Результаты переговоров: надежность против рациональности
Использование структурированных протоколов с верификацией позволило достичь 100% успеха в обоих протестированных моделях. Однако даже при исправлении артефактов парсера в базовых неструктурированных сценариях результаты варьировались. Верификация существенно снизила дисперсию исходов, но не решила проблему стратегического поведения агентов.
| Метрика / Условие | Результат | Комментарий |
|---|---|---|
| Успешность (Structured + Verification) | 100% | Обе модели успешно завершили задачу |
| Успешность (Unstructured, после правки парсера) | ~97% и ~93.3% | Зависит от конкретной модели |
| Эффективность распределения (Аукционы) | 100% | Ресурсы всегда шли тому, кто их ценит выше |
| Честность ставок (Truthful Bidding) | 100% vs 3.3% | Одна модель всегда называла реальную цену, другая — почти никогда |
| Справедливое распределение (3 стороны) | 4.2% | Критически низкий показатель, требующий доработки |
Главный инсайт: Индуцируемость не передается автоматически
Самый важный вывод исследования касается аукционов. Хотя оба агента обеспечивали 100% эффективное распределение ресурсов, их поведение в плане честности кардинально различалось. Одна модель называла свою точную оценку стоимости в каждой попытке, тогда как другая делала это лишь в 3.3% случаев. Это доказывает, что наличие механизма, стимулирующего честность (incentive compatibility), не гарантирует, что LLM-агент будет вести себя рационально и честно без дополнительного контроля.
Вывод для индустрии
Работа закрывает разрыв между классической теорией мультиагентных систем и современной инфраструктурой LLM. Для создания надежных автономных систем недостаточно просто подключить агенты через A2A/MCP — необходим слой верификации на уровне протокола, чтобы гарантировать, что агенты не «обманывают» систему в своих интересах.
Источник: arXiv cs.AI ↗