Универсальность вместо конвейера
Команда WeChat Vision от Tencent представила WeVisOne-VL — открытую модель «все-в-одном» для задач компьютерного зрения. В отличие от специализированных решений, одна модель обрабатывает детекцию, реферирование (referring), подсчет, указание точек, OCR, сегментацию и альфа-маттинг. Ключевое архитектурное решение: вместо использования отдельной модели типа SAM для пиксельных выходов применяется встроенный 9.6M-параметрический декодер, что упрощает развертывание и снижает накладные расходы.
Архитектура и обучение
Модель построена на базе Qwen3-VL и использует подход структурированного предсказания следующего токена. Координаты кодируются токенами от <0> до <1000>. Если запрошенный объект отсутствует, модель корректно возвращает None, а не генерирует ложное срабатывание. Обучение проходило в три этапа SFT (Supervised Fine-Tuning) на данных, аннотированных с помощью графа знаний и более 100 млн изображений, с финальной стадией GRPO для фильтрации неопределенностей.
Сравнение производительности
WeVisOne-VL-4B демонстрирует значительное превосходство над базовыми моделями того же масштаба в задачах локализации и OCR. Ниже приведены ключевые метрики (F1 Mean или gIoU), где выше — лучше (для MAD ниже — лучше):
| Бенчмарк / Задача | WeVisOne-VL-4B | Qwen3-VL-4B | LocateAnything-3B | Примечание |
|---|---|---|---|---|
| Dense200 (Detection) | 71.3 | 15.2 | 58.7 | Превосходство +12.6 п.п. |
| RefCOCOg (Referring) | 81.8 | 74.3 | 77.6 | Лучший результат |
| TotalText (OCR) | 52.0 | 33.0 | 43.3 | PP-OCRv5: 25.7 |
| ReasonSeg (Segmentation) | 71.2 gIoU | — | 65.0 | Лучше LISA-13B |
| P3M-500-NP (Matting) | 7.3 MAD | — | — | Лучше SAM2-Matting (15.4) |
| WeRef-Bench (Rejection) | 96.4% | 18.8% | 0.5% | Умение говорить «нет» |
Развертывание и доступность
Модели доступны в весах 2B (2.44B params) и 4B (4.83B params) на Hugging Face под лицензией Apache 2.0. Поддерживается запуск через Transformers или vLLM в формате BF16. Сообщество уже адаптировало модель в формат GGUF, позволяя запускать объектные задачи на видеокартах с 6 ГБ VRAM (например, RTX 2060). Однако генерация масок и маттинга требует нативных визуальных признаков, поэтому в GGUF-версиях эти функции пока недоступны.
Почему это важно
WeVisOne-VL решает проблему фрагментации в пайплайнах CV: разработчикам больше не нужно интегрировать и поддерживать отдельные модели для детекции, OCR и сегментации. Высокий показатель отказа (96.4% на WeRef-Bench) критически важен для агентов, чтобы избегать ложных срабатываний. Лицензия Apache 2.0 делает решение коммерчески привлекательным по сравнению с некомерческими аналогами, такими как LocateAnything-3B.
Бенчмарки
| Бенчмарк | WeVisOne-VL-4B | LocateAnything-3B | Qwen3-VL-4B-Instruct | Rex-Omni |
|---|---|---|---|---|
| Dense200 F1 Mean | 71.3% | 58.7% | 15.2% | 58.3% |
| LVIS F1 Mean | 55.3% | 50.7% | 44% | 46.9% |
| RefCOCOg test F1 Mean | 81.8% | 77.6% | 74.3% | 74.3% |
| TotalText F1 Mean | 52% | 43.3% | 33% | 40.6% |
| PointBench | 71.9% | 56.9% | 57.1% | 69.9% |
| RefCOCOg-Rej rejection | 67.4% | 0.6% | 18.8% | 0.5% |
Жирным — лучший результат в строке. Источник цифр — официальная публикация.
Источник: MarkTechPost ↗