Проблема: агенты ломаются на «сложных» пользователях
Современные функциональные агенты (function-calling models) часто демонстрируют высокую точность на стандартных бенчмарках, но терпят крах в реальных сценариях. Основная причина — в обучающих данных доминируют кооперативные сценарии, где пользователь четко следует сценарию. В реальности же пользователи могут быть нетерпеливы, двусмысленны или даже враждебны (adversarial behavior), что приводит к сбоям в цепочке вызовов инструментов.
Решение: симуляция конфликтов через ToolRACER
Команда авторов (включая исследователей из Meta и других лабораторий) разработала пайплайн ToolRACER, который использует три эмуляционные модели: пользователя, ассистента и инструментов. Система генерирует многооборотные диалоги, специально внедряя в них сценарии сбоев. Ключевая метрика датасета: 66% диалогов содержат «проблемные» сценарии, требующие от агента гибкости и восстановления после ошибок.
Масштаб и структура датасета
Сформированный набор данных ToolRACERBench охватывает шесть различных доменов и включает 55 уникальных персон пользователей. Всего создано 5.6K валидированных траекторий взаимодействия. Ниже приведено сравнение ключевых характеристик нового датасета с традиционными подходами:
| Параметр | ToolRACERBench | Традиционные бенчмарки |
|---|---|---|
| Объем данных | 5,600 диалогов | Обычно < 1,000 диалогов |
| Доля «сложных» сценариев | 66% | Менее 10-20% |
| Охват доменов | 6 доменов | Часто 1-2 узких домена |
| Тип пользователей | 55 персон (включая враждебных) | Стандартные/кооперативные |
Результаты: рост точности на сложных задачах
Модели, дообученные на ToolRACERBench, показали значительный прирост метрик agentic accuracy. Тестирование проводилось на независимых бенчмарках $\tau^2$-bench, BFCLv3 и ACEBench. Особенно впечатляющие результаты были получены при смешивании ToolRACER с ин-доменными данными для малых языковых моделей (SLM): способность агентов корректно вызывать инструменты и завершать задачи существенно возросла по сравнению с базовыми моделями.
Почему это важно
ToolRACER закрывает критический пробел в подготовке AI-агентов. Переход от «идеальных» диалогов к «реалистичным с конфликтами» позволяет создавать системы, которые не просто выполняют скрипт, а умеют деэскалировать ситуации и находить обходные пути. Это важный шаг к созданию надежных виртуальных ассистентов, готовых к работе с реальным человеческим хаосом.
Источник: arXiv cs.CL ↗