ECHOES: Как StepFun и Tsinghua решили проблему памяти GUI-агентов

Проблема длинных сессий в GUI-агентах

Долгосрочные агенты, управляющие интерфейсами (GUI), сталкиваются с фундаментальной дилеммой: для принятия решений им нужна история действий. Хранение всех скриншотов приводит к экспоненциальному росту потребления визуальных токенов и стоимости инференса, тогда как текстовые сводки часто теряют критически важные визуальные детали, снижая надежность агента.

Решение ECHOES: CTA и привилегированное обучение

Авторы предлагают метод ECHOES, который использует привилегированную информацию во время обучения для сжатия истории. Ключевые компоненты:

• Compression-Think-Action (CTA): Рекурсивное обновление текстового состояния истории, позволяющее модели «думать» на основе сжатого контекста, а не сырых изображений.
• Privileged On-Policy Distillation: Одна и та же модель выступает учителем, предоставляя плотную дистилляцию на уровне токенов для ученика, генерирующего траектории CTA.
• PMF Gap-guided OPD-RL: Фреймворк, балансирующий между дистилляцией от учителя и оптимизацией награды за задачу, с периодическим обновлением учителя.

Новый бенчмарк ECHOESBMK

Для оценки качества памяти и восприятия авторы создали ECHOESBMK — детализированный диагностический бенчмарк, основанный на реальных траекториях провала GUI-агентов. Он позволяет измерять не только успешность задачи, но и верность сохранения состояния (Memory Fidelity).

Результаты и эффективность

Эксперименты на четырех GUI-бенчмарках и ECHOESBMK показали значительный прирост производительности. Главное достижение — ECHOES достигает конкурентоспособных результатов без хранения исторических скриншотов на этапе развертывания (deployment). Это обеспечивает favorable performance-inference-cost trade-off (выгодный баланс между производительностью и затратами на инференс) и демонстрирует положительный zero-shot перенос на задачи визуального планирования, не встречавшиеся в обучении.

Источник: arXiv cs.AI ↗