Проблема «скрытых профилей» в мультиагентных системах
В мультиагентных системах на базе больших языковых моделей (LLM) ключевая проблема заключается не в мощности отдельных агентов, а в координации их коммуникации. Особый вызов представляют задачи типа hidden-profile (скрытый профиль), где каждый агент обладает лишь частью доказательств, необходимых для правильного итогового решения. Существующие протоколы — от фиксированных расписаний до неструктурированных дебатов — не гарантируют, что каждое коммуникативное действие будет полезным, что часто приводит к шуму или преждевременному консенсусу.
Решение: Consilience и конформная калибровка
Авторы (Abhijith Babu, Ramneet Kaur, Vishal Pramanik и др.) предлагают Consilience — фреймворк оркестрации на этапе инференса. Система анализирует состояние обсуждения, фиксируя неопределенность, разногласия, прирост доказательств и избыточность. На основе этого она выбирает тип вмешательства (вызов, уточнение, поиск доказательств или маршрутизация) и конкретного спикера.
Главное нововведение — процедура round-wise conformal calibration (пошаговая конформная калибровка). Она обеспечивает гарантию без распределения (distribution-free) для конечных выборок: с вероятностью не менее 1 - alpha регрет (упущенная выгода) от предложенного действия контроллера ограничен калиброванным порогом. Если предложенное действие не проходит проверку, механизм принятия решений заменяет его на допустимое.
Эксперименты и метрики
Методология была протестирована на бенчмарках стиля HiddenBench с участием 12 моделей языков (открытых и закрытых). Consilience демонстрирует улучшение как точности принятия решений, так и эффективности коммуникации по сравнению с фиксированными протоколами. В ряде случаев система превзошла базовый уровень «полной информации», где все агенты изначально видят все доказательства.
| Параметр | Значение / Описание |
|---|---|
| Название метода | Consilience |
| Тип калибровки | Конформная (Conformal), round-wise |
| Гарантия надежности | Вероятность ≥ 1 - alpha (без предположений о распределении) |
| Тестовая среда | HiddenBench-style (hidden-profile tasks) |
| Количество моделей | 12 (open и closed weight LLMs) |
| Ключевое преимущество | Превосходство над базой «полной информации» в некоторых сценариях |
Почему это важно
Результаты демонстрируют, что сертифицированный адаптивный контроль коммуникации может быть ценнее простого увеличения объема доступной информации. Consilience предлагает практический механизм для создания надежных мультиагентных систем, где критически важна не просто скорость обмена данными, а их статистически обоснованная релевантность.
Источник: arXiv cs.AI ↗