Проблема: успех ≠ соблюдение правил
Современные веб-агенты часто оцениваются исключительно по наличию правильного ответа. Однако делегирование задачи в интернете требует передачи не только запроса, но и политики: что проверять, как обрабатывать неопределенность, какие предпочтения важны и когда остановиться. Исследователи из Google DeepMind и UCLA (Zhi Li, Tao Zhou и др.) обнаружили, что сильный контроллер может успешно выполнить 99,2% задач, но при этом нарушить все политические ограничения в 38,8% случаев. Завершение задачи не гарантирует верности намерениям пользователя.
Решение: Контракт намерений (Intent Contract)
WebRider формализует делегированную политику как контракт намерений — операционную запись целей, ограничений, обязательств по доказательствам, формы ответа и локальных персонажей. Архитектура системы иерархична:
- Верхний уровень: Контроллер, поддерживающий контракт.
- Средний уровень: Реализация намерений как защищенных исполняемых действий.
- Слой инструментов: Исполнение действий через браузер, поиск и карты.
Такой подход делает путь браузера «объектом первого класса», позволяя системе быть проверяемой человеком и обучаемой без смешивания реализации действий с финальными решениями.
Результаты: RiderBench и обучение
Для оценки предложенной архитектуры создан бенчмарк RiderBench, включающий 4 096 живых веб-контрактов на 42 публичных сайтах. Аудит проверяет как внутреннее состояние контракта, так и видимый пользовательский опыт на соответствие политике. Ключевым открытием стало то, что защищенный средний интерфейс служит качественным сигналом для обучения. Модель с 8 миллиардами параметров, обученная через этот интерфейс, превосходит базовые модели, использующие только исполняемые действия, при фиксированном контроллере.
| Метрика / Аспект | Значение / Описание |
|---|---|
| Доля успешных задач (сильный контроллер) | 99,2% |
| Соблюдение политических ограничений | 38,8% |
| Размер датасета RiderBench | 4 096 контрактов |
| Количество публичных сайтов | 42 |
| Размер обучаемой модели | 8B параметров |
Значение для индустрии
WebRider закрывает критический пробел в оценке AI-агентов, показывая, что финальный ответ может скрывать нарушения политик делегирования. Представленный датасет и методология позволяют создавать более прозрачные и надежные системы помощи в интернете, где важен не только результат, но и процесс его достижения.
Источник: arXiv cs.AI ↗