Проблема масштабируемости доверия
Оценка естественных языковых объяснений в рекомендательных системах критически важна для доверия пользователей. Однако существующие методы имеют серьезные недостатки: ручная оценка ресурсоемка, а автоматические решения на базе одиночных LLM подвержены чувствительности к промптам и нестабильности результатов. Для решения этой проблемы команда авторов (Reza Yousefi Maragheh, Jayesh Uddhav Kudase и др.) разработала MAREval — структурированный многоагентный фреймворк.
Архитектура MAREval: 4 ключевых агента
Система использует специализированных агентов для обеспечения логической согласованности и снижения «дрейфа» промптов:
- Planner Agent: Использует стратегию Chain of Debate (CoD) для координации ролей и создания плана оценки.
- Moderator Agent: Регулирует дискуссию, предотвращая отклонение от темы.
- Arbitrator Agent: Агрегирует результаты нескольких раундов оценки.
- Monte Carlo Sampling: Метод выборки для повышения устойчивости и соответствия человеческому суждению.
Результаты тестирования
Эксперименты проводились на публичном датасете TopicalChat и проприетарном наборе данных электронной коммерции. MAREval показал значительное улучшение показателей по сравнению с одноагентными и многоагентными базовыми моделями. Ключевые метрики представлены ниже:
| Метрика / Аспект | Результат MAREval | Сравнение с базовыми моделями |
|---|---|---|
| Согласованность с человеком | Высокая | Превосходит SOTA-базовые модели |
| Стабильность (вариативность) | Низкая вариативность | Значительно стабильнее при повторных запусках |
| Качество для продакшена | Соответствует порогу | Проходит порог качества, где другие проваливаются |
| Влияние на бизнес (A/B тест) | Рост вовлеченности и выручки | Статистически значимое улучшение метрик |
Почему это важно
MAREval демонстрирует, что многоагентные подходы могут не только имитировать, но и превосходить человеческую оценку в масштабе. Успешное внедрение в реальные системы электронной коммерции, подтвержденное ростом выручки, делает этот фреймворк важным шагом к прозрачным и надежным рекомендательным системам будущего.
Источник: arXiv cs.AI ↗