Проблема: «Клеточная память» без абстракции
Современные LLM-агенты часто застревают в локальных оптимумах. Существующие методы внешней памяти (external memory) позволяют накапливать опыт, но знания остаются привязанными к конкретным контекстам. Агент помнит, что он делал, но не понимает, почему это сработало, что мешает переносить навыки на новые задачи. Дообучение (fine-tuning) решает эту проблему, но требует доступа к параметрам модели и огромных вычислительных ресурсов, что невозможно для закрытых API.
Решение: SAGA (Self-evolving Agents through Experience-Grounded Abstraction)
Команда авторов (Bowen Ye, Yongchao Xu и др.) предложила архитектуру, которая создает итеративную петлю обратной связи: выполнение → абстракция → коррекция. Система не просто хранит историю, а трансформирует её в иерархическую структуру:
- Эпизодические описания: Сырые траектории взаимодействия.
- Повторно используемые процедуры: Алгоритмы действий.
- Принципы с условиями применимости: Абстрактные правила, привязанные к конкретным контекстам и подкрепленные доказательствами выполнения.
Механика работы: От принципа к действию
Ключевая инновация SAGA — механизм контекстуальной инстанциации. Когда агент сталкивается с новой задачей, система извлекает релевантные принципы из памяти. Эти принципы не являются жесткими инструкциями; они используются для генерации кандидатов в действия, которые затем корректируются через обратную связь и ресемплинг. Это позволяет агенту адаптировать общие знания под специфическую ситуацию.
Результаты: Бенчмарки ScienceWorld и ALFWorld
Эксперименты показали, что SAGA превосходит базовые методы работы с памятью. Абляционные исследования выделили два критических фактора успеха: способность к контекстуальной инстанциации и регуляция действий. Ниже приведена сравнительная логика эффективности компонентов системы:
| Компонент SAGA | Функция | Влияние на результат |
|---|---|---|
| Эпизодическая память | Хранение сырых траекторий | Базовый уровень; слабое обобщение |
| Абстракция принципов | Выделение правил с условиями | Значительный рост точности на новых задачах |
| Корректировка действий | Resampling на основе принципов | Ключевой фактор успеха (по данным ablation study) |
Почему это важно
SAGA демонстрирует путь к созданию автономных агентов, которые эволюционируют без вмешательства человека. Отказ от изменения весов модели делает технологию применимой к коммерческим LLM (GPT, Claude и др.), где доступ к градиентам закрыт. Это шаг от «статичных помощников» к системам, которые реально учатся на собственном опыте.
Источник: arXiv cs.AI ↗