Проблема: Потеря контекста в долгосрочных взаимодействиях
Традиционные подходы к моделированию мира (World Modeling) часто страдают от «глюков» при длительных сессиях. Команда вроде rm report.txt может не выдать ошибки, но изменит состояние системы. Если модель не сохранит этот факт, последующая попытка прочитать файл приведет к галлюцинациям. Trace2Env решает эту проблему, разделяя знания о среде (Worldbook) и текущее состояние эпизода (Episode State).
Методология: От трассировок к «Книге мира»
Система работает в два этапа. Сначала, офлайн, она анализирует исторические трассы взаимодействий (traces), извлекая схемы действий, доказательства и поведенческие абстракции, формируя неизменяемый Worldbook. Затем, онлайн, агент модели мира (World-Model Agent) консультируется с этой книгой и текущим состоянием, чтобы предсказать последствия действий другого агента (Task Agent). Это позволяет избежать перегрузки контекстного окна и обеспечивает проверку согласованности через Harness.
Результаты: Точность предсказания следующего наблюдения
Оценка проводилась на бенчмарке AgentWorldBench с использованием метрик формата, фактологичности, согласованности, реализма и качества (шкала 0–100). Trace2Env показал лучшие средние результаты как с бэкбондом GPT-5.6-Sol, так и с DeepSeek-V4.1-Flash, превосходя прямое промптирование (Direct Prompting) и RAG-подходы во всех категориях.
| Метод | Terminal | SWE | Android | Web | Food | Shopping | Benefits | Avg. |
|---|---|---|---|---|---|---|---|---|
| Direct Prompting (GPT-5.6-Sol) | 55.76 | 65.87 | 62.80 | 54.23 | 81.67 | 77.32 | 88.89 | 69.51 |
| Trace RAG Prompting | 58.42 | 66.50 | 66.50 | 57.12 | 85.57 | 86.07 | 96.11 | 73.76 |
| Trace2Env (GPT-5.6-Sol) | 65.42 | 70.59 | 65.10 | 59.55 | 87.43 | 85.36 | 98.11 | 75.94 |
| Trace2Env (DeepSeek-V4.1) | 64.12 | 70.17 | 65.50 | 57.85 | 88.20 | 86.07 | 98.33 | 75.75 |
Долгосрочная согласованность: Тест W2R
Самое важное преимущество Trace2Env проявляется в тесте W2R (World-to-Real): действия, выполненные в симуляции, воспроизводятся в реальной среде. Коэффициент успеха (CR) показывает, насколько сильно компетенция агента сохраняется при переходе из мира в реальность. Для ALFWorld Trace2Env достиг CR 0.914 против 0.032 у базового промптинга, что означает практически полную переносимость действий.
| World Model | Real (Success) | WM (Success) | W2R (Replay Success) | CR (Consistency) |
|---|---|---|---|---|
| ALFWorld - Direct Prompting | 93% | 97% | 3% | 0.032 |
| ALFWorld - Trace2Env | 93% | 88% | 85% | 0.914 |
| SciWorld - Direct Prompting | 85% | 92.5% | 45% | 0.529 |
| SciWorld - Trace2Env | 85% | 87.5% | 60% | 0.706 |
Почему это важно
Trace2Env демонстрирует, что для создания надежных агентов-симуляторов не обязательно иметь доступ к исходному коду или инфраструктуре оригинальной среды. Достаточно исторических данных (traces). Это открывает путь к быстрому созданию тестовых стендов для любых программных интерфейсов, где важна строгая логика состояний, а не просто генерация текста.
Бенчмарки
| Бенчмарк | Trace2Env | Trace2Env (DeepSeek-V4.1-Flash) | Trace2Env (GPT-5.6-Sol) | Direct Prompting | Direct Prompting (GPT-5.6-Sol) | Worldbook Prompting (GPT-5.6-Sol) |
|---|---|---|---|---|---|---|
| AgentWorldBench (Avg) | — | 75.75% | 75.94% | — | 69.51% | 74.35% |
| ALFWorld CR | 0.914ratio | — | — | 0.032ratio | — | — |
| SciWorld CR | 0.706ratio | — | — | 0.529ratio | — | — |
Жирным — лучший результат в строке. Источник цифр — официальная публикация.
Источник: Quanyulong ↗