Проблема хрупкости диалоговых агентов
Задаче-ориентированные диалоговые агенты часто оказываются неустойчивыми в реальных условиях, особенно когда пользователи демонстрируют некооперативное или враждебное поведение. Существующие бенчмарки для тестирования функций вызова (function-calling) недостаточно учитывают такие adversarial-сценарии, что ограничивает ресурсы для обучения надежных моделей. Исследователи из команды, включавшей Аркаджьоти Чакраборти и других, решили эту проблему, создав MADS (Multi-Agent Dialog Simulation).
Что такое MADS и как это работает
MADS — это конвейер генерации синтетических данных, который создает структурированные и разнообразные траектории диалога. Ключевая особенность системы — внедрение враждебных диалоговых сценариев, что позволяет валидировать траектории, захватывающие реалистичные, но неудачные пути взаимодействия (unhappy paths). Это дает возможность обучать модели на данных, имитирующих сложные и конфликтные ситуации, которые часто встречаются в реальной жизни.
Масштаб MADS-Bench
На основе MADS был создан бенчмарк MADS-Bench, который охватывает шесть различных доменов, 55 уникальных персон и 1095 диалогов. Примечательно, что около 66% этих диалогов содержат сценарии, предрасположенные к ошибкам (failure-prone), что делает выборку крайне репрезентативной для задач повышения устойчивости агентов.
| Параметр | Значение |
|---|---|
| Количество доменов | 6 |
| Количество персон | 55 |
| Общее число диалогов | 1095 |
| Доля диалогов с ошибками | ~66% |
Методология обучения: SFT + RLVR
Для оценки устойчивости обученных моделей исследователи использовали двухэтапный подход. Сначала применялось supervised fine-tuning (SFT), а затем reinforcement learning with verifiable rewards (RLVR). Этот комбинированный подход позволяет не только научить модель правильным ответам, но и оптимизировать ее поведение через систему вознаграждений, что критически важно для работы в adversarial-среде.
Значение для индустрии
Работа MADS закрывает важный пробел в области NLP, предоставляя инструменты для создания более надежных диалоговых систем. Учитывая, что большинство существующих датасетов сфокусированы на идеальных сценариях, MADS предлагает реалистичную альтернативу, которая может значительно улучшить пользовательский опыт в задачах, требующих высокой точности и устойчивости к провокациям.
Источник: arXiv cs.CL ↗