Прорыв в точности: 94% на WebVoyager
Команда Magnitude представила новый подход к автоматизации веб-интерфейсов, основанный на vision-first архитектуре. В отличие от традиционных агентов, которые полагаются на структуру DOM, Magnitude использует зрительные модели для определения пиксельных координат элементов. Это позволяет инструменту работать с любыми интерфейсами, включая сложные современные сайты и десктопные приложения, где DOM-структура может быть нестабильной или недоступной.
Ключевая метрика успеха — 94% на бенчмарке WebVoyager, что позиционирует Magnitude как state-of-the-art решение в области браузерных агентов. Архитектура обеспечивает обобщаемость (generalization) независимо от изменений в верстке сайта.
Как это работает: от навигации до извлечения данных
Инструмент предлагает четыре основных режима взаимодействия:
- Navigate: Анализ интерфейса и планирование действий на основе визуального контекста.
- Interact: Выполнение точных кликов и нажатий клавиш через эмуляцию мыши и клавиатуры.
- Extract: Интеллектуальное извлечение структурированных данных из веб-страниц с использованием схем Zod.
- Verify: Встроенный тестовый раннер с мощными визуальными ассертами для проверки UI.
Технические требования и модели
Для работы Magnitude требуется мощная визуально-обоснованная модель (visually grounded model). Разработчики рекомендуют использовать Claude Sonnet 4 для достижения наилучших результатов, но также поддерживается совместимость с Qwen-2.5VL 72B. Выбор модели критически важен для точности распознавания элементов на экране.
Сравнение подходов: DOM vs Vision
Традиционные браузерные агенты часто используют нумерованные рамки вокруг элементов, что плохо масштабируется на сложных сайтах. Magnitude решает эту проблему, оперируя пиксельными координатами.
| Характеристика | Традиционные агенты | Magnitude |
|---|---|---|
| Основа работы | Структура DOM | Визуальные пиксельные координаты |
| Обобщаемость | Низкая (зависит от верстки) | Высокая (независима от DOM) |
| Применимость | Веб-сайты | Веб, десктопные приложения, VM |
| Точность (WebVoyager) | Информация отсутствует | 94% |
Интеграция и использование
Разработчики предлагают простой старт через команду npx create-magnitude-app, которая создает проект с примером скрипта. Для автоматизации задач доступен API, позволяющий как высокоуровневые команды (например, "Создать задачу"), так и низкоуровневые действия (например, "Перетащить элемент").
Для тестирования веб-приложений доступен пакет magnitude-test, который интегрируется в CI/CD. Поддерживается детерминированное выполнение за счет системы кэширования, что важно для продакшн-среды. Для корпоративных клиентов предусмотрены расширенные функции поддержки через email или Discord.
Источник: Github ↗