Проблема «слабого кредитования» в длинных цепочках
Современные большие языковые модели (LLM) всё чаще используются как агенты, выполняющие сложные задачи через последовательные вызовы инструментов (tool-use). Главная проблема таких систем — long-horizon tool invocation (длинногоризонтальные вызовы). В таких сценариях каждый шаг меняет состояние задачи, а финальная награда (успех или провал) слишком поздно приходит, чтобы понять, какой именно шаг был ключевым. Традиционные методы step-level rewards требуют либо человеческой разметки, либо дополнительных прогонов (rollouts) для оценки влияния промежуточных решений, что ресурсоемко и ненадежно.
Решение: Comparative Inference for Tool-use Agents (CITA)
Авторы (Юй Ли, Чжэн Чжан и соавторы) предлагают парадигму «Choosing Before Acting» (Выбор перед действием). Суть метода CITA заключается в том, чтобы агент оценивал долгосрочную ценность возможного следующего вызова инструмента до его фактического выполнения. Для этого обучается специальная модель — Comparative Inference Model (CIM).
CIM учится сравнивать альтернативные вызовы в одном и том же контексте. Поскольку в логированных траекториях есть только реально совершенные действия, авторы используют гибридный подход для обучения:
- Bayesian tool-graph simulator: масштабируемая симуляция для получения сигналов обучения.
- LLM-based comparison: семантические суждения от самой LLM для сравнения вариантов.
Результаты и метрики
Метод CITA был протестирован на трех бенчмарках для tool-use агентов с использованием различных базовых LLM. Ключевые улучшения зафиксированы по метрикам Tool F1 (точность выбора правильного инструмента) и Task Success (успешность завершения задачи). Анализ показывает, что CIM действительно учится строить точные оценки ценности на уровне шагов, позволяя агенту выбирать оптимальный путь.
| Компонент | Описание и роль в CITA |
|---|---|
| CIM (Comparative Inference Model) | Ядро метода. Оценивает вероятность того, что конкретный вызов инструмента приведет к успеху задачи в текущем контексте. |
| Bayesian Simulator | Генерирует масштабируемые обучающие сигналы, моделируя граф инструментов без необходимости реальных дорогих взаимодействий. |
| LLM Comparison | Использует семантическое понимание модели для сравнения альтернативных действий, дополняя симуляцию. |
| Метрики улучшения | Стабильный рост Tool F1 и Task Success across multiple backbones. |
Значение для индустрии
Работа, принятая в NeurIPS 2026 (Poster), закрывает важный пробел в области автономных агентов. Переход от реактивного выполнения к проактивной оценке ценности действий позволяет создавать более надежные системы, способные к сложному планированию. Это снижает количество «галлюцинаций» в выборе инструментов и повышает общую эффективность автономных AI-ассистентов.
Источник: arXiv cs.AI ↗