Проблема: Слепое выполнение действий
Современные LLM-агенты всё чаще взаимодействуют со сложными средами, но их способность к адаптации во время развертывания (deployment) остается ограниченной. Ключевая проблема заключается в отсутствии механизма, который позволял бы агенту предвидеть последствия своих действий и использовать накопленный опыт для коррекции стратегии, не тратя ресурсы на реальные ошибки в среде.
Решение: MPPI для языковых моделей
Авторы (Haori Lu, Tianyu Gao, Yaoyao Liu, Yingying Li) предлагают тестовый фреймворк, вдохновленный Model Predictive Path Integral (MPPI) — методом из области робототехники и управления. Вместо того чтобы сразу выполнять действие, агент на каждом шаге:
- Генерирует несколько вариантов действий (candidate actions).
- Использует World Model (модель мира) для «воображения» результатов каждого варианта.
- Оценивает эти гипотетические исходы на основе прогресса к цели и рисков.
Поскольку языковые среды не предоставляют явных функций стоимости (costs), система оценивает прогресс и риск, а затем применяет веса в стиле MPPI для выбора оптимального действия.
Архитектура: Двухветвистая память
Ключевая инновация — dual-branch experience memory (двухветвистая память опыта), которая обеспечивает самообучение:
- Planner branch (Планировщик): Уточняет генерацию кандидатов и выбор действий на основе прошлого опыта.
- World model branch (Модель мира): Улучшает точность предсказания следующего наблюдения (next-observation prediction).
Результаты и бенчмарки
Метод протестирован на двух сложных задачах: ALFWorld (взаимодействие с домашней средой) и ScienceWorld (научные эксперименты). Эксперименты проводились на трех различных бэкбонах (backbones), что подтверждает универсальность подхода. Результаты демонстрируют, что опыт, направляющий предиктивный контроль, значительно повышает эффективность агентов по сравнению с базовыми методами.
| Компонент системы | Функция | Влияние на агента |
|---|---|---|
| World Model | Предсказание следующего состояния | Позволяет оценивать последствия без реального выполнения |
| MPPI Weights | Взвешивание вариантов действий | Выбор действия с максимальным прогрессом и минимальным риском |
| Planner Branch | Улучшение генерации действий | Более релевантные кандидаты на основе истории |
| World Model Branch | Улучшение предсказания | Более точная «виртуальная симуляция» среды |
Значимость
Работа закрывает важный пробел в области автономных агентов, показывая, что интеграция методов оптимального управления из робототехники в LLM-системы может привести к созданию более надежных и самообучающихся AI-ассистентов. Код метода будет опубликован в открытом доступе.
Источник: arXiv cs.AI ↗