Проблема неопределенности в LLM-агентах
Современные LLM-агенты способны выполнять сложные задачи, но их эффективность часто упирается в неопределенность пользовательских намерений. Пользователи редко формулируют все цели и ограничения явно. Традиционные подходы к уточнению (clarification) часто неэффективны, так как агент не понимает, приведет ли конкретный вопрос к улучшению итогового решения. Ключевая проблема: одна и та же уточняющая информация может быть полезна на этапе обучения, но стать бесполезной после изменения политики принятия решений (policy) агента.
Решение: CLEAT и co-training
Исследователи представили CLEAT (CLarification through valuE-guided Agent co-Training) — фреймворк, который решает эту проблему через совместное обучение (co-training) двух компонентов:
- Контроллера уточнения (Clarification-Value Controller): предсказывает «ценность» вопроса, то есть прирост полезности задачи, если агент спросит, а не будет действовать вслепую.
- Политики задачи (Task Policy): выбирает вопросы и принимает решения на основе ответов.
Метрика residual query value оценивается через парные запуски (paired rollouts) из одной истории взаимодействия. Это позволяет агенту адаптировать стратегию уточнения по мере того, как он обучается лучше выполнять задачу.
Результаты на базе Qwen3-4B
Эксперименты проводились на модели Qwen3-4B. CLEAT показал наивысшие средние баллы во всех десяти настройках оценки на четырех бенчмарках. Ниже приведено сравнение прироста метрик по сравнению с сильнейшими базовыми моделями:
| Бенчмарк / Метрика | Прирост (pp) | Значение |
|---|---|---|
| UserGym Travel (Mean Score) | +13.2 | Значительное улучшение качества выполнения задач |
| IN3 (Underspecification Judgment Accuracy) | +6.5 | Точность определения неопределенности намерений |
Почему это важно
Абляционные исследования показали, что совместное обучение улучшает базовую политику задачи даже в том случае, если контроллер уточнения отключен во время инференса. Это означает, что процесс обучения «умным вопросам» косвенно делает саму модель-агент более надежной. Кроме того, адаптация стратегии уточнения к эволюционирующей политике агента дает дополнительные приросты точности, что критично для создания интерактивных систем, способных к самосовершенствованию в диалоге.
Источник: arXiv cs.AI ↗