Проблема: «Галлюцинации» в планировании
LLM-агенты всё чаще используются для сложных задач планирования, таких как составление графиков для водителей или распределение смен медсестер. Однако реальные запросы людей редко содержат всю необходимую информацию. Существующие бенчмарки либо предоставляют полностью специфицированные задачи, либо используют симулированных пользователей, которые некорректно имитируют человеческое поведение. Это скрывало главный недостаток агентов — неспособность задавать уточняющие вопросы, критичные для принятия решения.
Решение: Бенчмарк Ask2Decide
Команда исследователей во главе с Юханом Тангом (Yuhan Tang) представила Ask2Decide — набор из 43 задач планирования. В каждом сценарии оператор владеет фактами, которых нет в исходном запросе агента. Оптимизационные решатели определяют, какие именно факты меняют оптимальный план. Также включены «шумовые» факты, не влияющие на решение, чтобы проверить, умеет ли агент отличать важное от второстепенного.
Калибровка через реальные данные
Чтобы избежать искажений, авторы собрали 79 сессий взаимодействия с 19 реальными участниками. Выяснилось, что люди после получения неверного плана в 43% случаев упускают исправляющий факт, тогда как неконтролируемые LLM-симуляторы делают это лишь в 7% случаев. На основе этих данных была создана калиброванная модель оператора, точнее отражающая человеческую коммуникацию.
Результаты тестирования
Тестирование четырех передовых LLM-моделей выявило критический разрыв в эффективности:
| Метрика | Полные данные | Недостающие данные |
|---|---|---|
| Доля нежизнеспособных планов | 5–28% | 58–98% |
| Выявление критических фактов | 39–52% (важные) vs 32–41% (неважные) | |
Агенты выявляют важные факты лишь незначительно чаще, чем бесполезные детали. Это доказывает, что получение релевантной информации через взаимодействие остается главным «бутылочным горлышком» для LLM-планирования.
Источник: arXiv cs.AI ↗