Проблема воспроизводимости в обучении веб-агентов
Обучение автономных веб-агентов требует наличия разнообразных, исполняемых и сбрасываемых веб-окружений. Существующие подходы имеют критические недостатки: человек-в-контуре (human-assisted mirrors) требуют ручной инженерии для каждого сайта, а генеративная реконструкция часто отклоняется от реального поведения целевых страниц. Методы capture-and-replay сохраняют наблюдения, но ограничивают покрытие взаимодействий возможностями захвата контента.
Решение: WebAnything
Авторы предлагают WebAnything — полностью автоматизированный фреймворк, который реконструирует источники, основанные на реальных URL, без необходимости ручной реализации для каждого сайта или исправлений после развертывания. Ключевые особенности:
- Автоматизация: Отсутствие необходимости в per-site manual implementation.
- Воспроизводимость: Создание стабильных сред для тестирования и обучения.
- Масштабируемость: Возможность работы с широким спектром веб-ресурсов без дополнительной инженерии.
Сравнение подходов к созданию веб-окружений
| Подход | Требует ручной настройки | Точность воссоздания | Масштабируемость |
|---|---|---|---|
| Human-assisted mirrors | Да (per-site) | Высокая | Низкая |
| Generative construction | Нет | Средняя/Низкая (расхождения) | Высокая |
| Capture-and-replay | Нет | Высокая (только наблюдения) | Средняя |
| WebAnything | Нет | Высокая (source-grounded) | Высокая |
Значение для индустрии
Представленный метод решает фундаментальную проблему создания тестовых стендов для AI-агентов. Автоматическая реконструкция на основе исходного кода (source-grounded) позволяет исследователям и разработчикам быстро создавать реалистичные среды для оценки способности агентов взаимодействовать с веб-страницами, не тратя ресурсы на ручное клонирование сайтов. Это открывает путь к более надежному benchmarking'у и обучению агентов, способных работать в реальных условиях интернета.
Источник: arXiv cs.AI ↗