В мире компьютерного зрения и мультимодальных ИИ-моделей долгое время доминировал подход «модульной сборки»: для детекции объектов использовался один детектор, для распознавания текста — отдельный OCR-движок, а для сегментации подключался тяжеловесный SAM (Segment Anything Model). Такой подход создавал проблемы с интеграцией, увеличивал задержки и требовал значительных вычислительных ресурсов. Команда WeChat Vision от Tencent решила эту проблему, выпустив WeVisOne-VL — открытую vision-language модель, которая объединяет детекцию, реферинг, подсчет, указание, OCR, сегментацию и альфа-маттинг в едином архитектурном решении.
Ключевая инновация WeVisOne-VL заключается в том, что модель генерирует пиксельные маски и альфа-каналы напрямую, используя компактный декодер на 9,6 млн параметров, что полностью исключает необходимость в внешних сегментаторах. Более того, модель умеет корректно отвечать «None», если запрошенный объект отсутствует на изображении, что критически важно для надежных агентов. В этой статье мы подробно разберем архитектуру, бенчмарки и практическое применение WeVisOne-VL, а также сравним её с конкурентами вроде Qwen3-VL и LocateAnything.
Архитектура WeVisOne-VL демонстрирует единый пайплайн обработки визуальных и текстовых данных.
01Что такое WeVisOne-VL и зачем она нужна
WeVisOne-VL (WeChat Vision All-in-One) — это модель, ориентированная на восприятие и локализацию, построенная на базе архитектуры Qwen3-VL. В отличие от чат-ботов, ориентированных на генерацию связного текста, WeVisOne-VL фокусируется на точной пространственной привязке объектов. Пользователь может выбрать гранулярность вывода: точки, ограничивающие рамки, бинарные маски или непрерывные альфа-матты.
Модель доступна в двух размерах: 2B (2,44 млрд параметров) и 4B (4,83 млрд параметров). Для разработчиков это означает возможность заменить целый стек инструментов (детектор, OCR-движок, сегментатор) одной моделью, что упрощает деплой и снижает стоимость инфраструктуры. Важной особенностью является то, что веса распространяются под лицензией Apache 2.0, что делает модель пригодной для коммерческого использования, в отличие от некоторых конкурентов с ограничениями на коммерцию.
02Архитектура: как работает единый пайплайн
Принцип работы WeVisOne-VL основан на предсказании следующего токена в структурированном формате. Модель использует специальные токены координат от <0> до <1000> для нормализованных рамок и точек. Если объект отсутствует, модель выдает токен None, а не пытается «угадать» рамку, что снижает количество ложных срабатываний.
Для задач, связанных с пикселями (сегментация, маттинг), модель генерирует токен <OBJ> после предсказания рамки. Скрытое состояние этого токена используется как запрос для встроенного пиксельного декодера. Декодер состоит из трех ключевых компонентов:
- Visual Feature Adapter: повторно использует многоуровневые признаки ViT из Qwen3-VL, избегая необходимости во втором кодировщике изображений.
- Box-Guided Query Decoder: содержит 6 блоков деформируемого кросс-внимания, инициализированных состоянием
<OBJ>и предсказанной рамкой. - Dense Prediction Head: уточняет выход на уровнях S/4, S/2 и S/1, формируя маску или матт в полном разрешении.
Структура пиксельного декодера WeVisOne-VL, позволяющая генерировать маски без внешних модулей.
03Процесс обучения и данные
Качество модели напрямую зависит от данных. Tencent использовала движок на основе графов знаний, который аннотировал более 100 миллионов изображений, создав около 3,6 миллиардов рамок. Для генерации предложений регионов использовались SAM3, Rex-Omni и внутренний детектор, а верификацию проводил Qwen3-VL.
Обучение проходило в три этапа дообучения (SFT) и один этап RLHF (GRPO):
- Этап 1: Выравнивание форматов вывода на 90 миллионах примеров.
- Этап 2: Увеличение входных визуальных токенов до 1,960 и поддержка до 500 рамок в ответе.
- Этап 3: Обучение пиксельного декодера и его специализация для маттинга на 130 миллионах образцов.
- Финальный этап (GRPO): Использование 178 тысяч примеров, отфильтрованных по неопределенности, для улучшения надежности.
04Бенчмарки и производительность
Все приведенные ниже результаты являются самоотчетными и получены с использованием жадного декодирования и не более 1,960 визуальных токенов на изображение. Метрики F1 для детекции, реферинга и OCR усреднены по IoU от 0,5 до 0,95.
Модель WeVisOne-VL-4B демонстрирует впечатляющие результаты на большинстве из 30+ бенчмарков, превосходя базовые VLM того же масштаба:
- Детекция: 55,3 F1 на LVIS и 71,3 F1 на Dense200. Для сравнения, LocateAnything-3B показывает 58,7 на Dense200.
- Реферинг: 81,8 F1 на RefCOCOg test против 77,6 у LocateAnything-3B.
- Отказ (Rejection): 96,4% на внутреннем бенчмарке WeRef-Bench, что значительно выше 73,0% у конкурентов. Это означает, что модель гораздо лучше понимает, когда объекта нет.
- Подсчет: 89,6% точного совпадения на PixMo-Count test.
- OCR: 52,0 F1 на TotalText, что опережает специализированный PP-OCRv5 (25,7).
- Сегментация: 71,2 gIoU на ReasonSeg val против 65,0 у LISA-13B.
- Маттинг: 7,3 MAD на P3M-500-NP (чем меньше, тем лучше), против 15,4 у SAM2-Matting.
Модель 2B отстает от 4B на большинстве задач, ноInterestingly, показывает лучшие результаты в маттинге с рамочными подсказками на P3M-500-NP (6,6 MAD).
Сравнительная таблица производительности WeVisOne-VL с Qwen3-VL, Rex-Omni и LocateAnything.
05Сравнение с конкурентами
Чтобы понять место WeVisOne-VL на рынке, важно сравнить её с другими популярными моделями. Ниже приведено сравнение ключевых характеристик WeVisOne-VL-4B, Qwen3-VL-4B-Instruct, Rex-Omni и LocateAnything-3B.
| Характеристика | WeVisOne-VL-4B | Qwen3-VL-4B-Instruct | Rex-Omni | LocateAnything-3B |
|---|---|---|---|---|
| Разработчик | Tencent WeChat Vision | Alibaba Qwen | IDEA Research | NVIDIA |
| Размер | 4.83B | 4B | 3B | 3B |
| Базовая модель | Qwen3-VL | N/A | Qwen2.5-VL-3B-Instruct | Qwen2.5-3B-Instruct + MoonViT-SO-400M |
| Лицензия | Apache 2.0 | Apache 2.0 | IDEA License 1.0 | NVIDIA non-commercial |
| Нативные маски/матты | Да (9.6M decoder) | Нет | Нет | Нет |
| LVIS F1 Mean | 55.3 | 44.0 | 46.9 | 50.7 |
| Dense200 F1 Mean | 71.3 | 15.2 | 58.3 | 58.7 |
| RefCOCOg test F1 Mean | 81.8 | 74.3 | 74.3 | 77.6 |
| TotalText F1 Mean | 52.0 | 33.0 | 40.6 | 43.3 |
Ключевое преимущество WeVisOne-VL — наличие нативных масок и маттов, а также более высокая точность на задачах плотной детекции (Dense200). Однако стоит отметить, что LocateAnything-3B имеет более низкую частоту отказов на некоторых бенчмарках, хотя и уступает в общей точности детекции.
06Как запустить WeVisOne-VL
Веса моделей доступны на Hugging Face. Для работы с моделью используется пакет wevisone_vl, который поддерживает бэкенды Transformers и vLLM. Модель может работать на одном GPU в формате BF16. Сообщество также сообщило об успешном запуске задач на уровне объектов на RTX 2060 с 6 ГБ VRAM через GGUF-сборку, хотя GGUF-версии не поддерживают генерацию масок, так как декодеру требуются нативные визуальные признаки.
Пример кода для запуска задачи маттинга:
from wevisone_vl import WeVisOneVL
model = WeVisOneVL("tencent/WeVisOne-VL-4B", backend="transformers") # or "vllm"
result = model.predict(image, task="matting", query="person")Поддерживаемые задачи включают:
detectionreferringpointcount_boxocrsegmentationmatting
Также доступны хостинг-демо для версий 2B и 4B. Tencent открыла исходный код Mask2Alpha — инструмента аннотации маттинга, использованного в движке данных. Код для дообучения (fine-tuning) пока находится в списке задач (TODO).
07Что это значит на практике
Выход WeVisOne-VL знаменует важный шаг в унификации мультимодальных моделей. Для разработчиков это означает возможность создать более компактный и эффективный пайплайн компьютерного зрения. Вместо того чтобы поддерживать три разных сервиса (детектор, OCR, сегментатор), можно развернуть одну модель, которая справляется со всеми задачами.
Особенно ценной является функция корректного отказа (None), которая повышает надежность агентов, работающих в реальном времени. Если агент ищет объект, которого нет, он получит четкий сигнал об отсутствии, а не галлюцинацию в виде рамки вокруг случайного пикселя.
Для российского рынка, где доступ к некоторым западным облачным сервисам может быть ограничен, открытая лицензия Apache 2.0 и возможность локального запуска на одном GPU делают WeVisOne-VL привлекательным решением для внедрения в корпоративные системы, системы видеонаблюдения и приложения для анализа документов.
В целом, WeVisOne-VL показывает, что будущее за универсальными моделями, способными не только «видеть», но и точно локализовать и сегментировать объекты без внешних костылей. Это снижает порог входа для сложных CV-задач и открывает новые возможности для создания интеллектуальных агентов.
Источник: MarkTechPost ↗