Революция в точности без Fine-tuning
Команда разработчиков представила OpenVLHarness — систему, которая превращает статические мультимодальные большие языковые модели (MLLM) в активных агентов. В отличие от подходов, требующих дорогостоящего дообучения (fine-tuning), OpenVLHarness работает поверх существующих моделей, добавляя слой оркестрации и набор перцептивных инструментов. Результат: среднее улучшение на +9.7–12.6 балла по 22 бенчмаркам для всех протестированных семейств моделей.
Ключевые метрики и сравнения
Система протестирована на моделях Qwen3-VL (8B и 32B), Kimi K3 и линейке GPT-6 (Luna, Sol, Astra). Ниже приведены результаты среднего балла (Average) по 22 бенчмаркам для ключевых моделей:
| Модель (Backbone) | Base (без инструментов) | + OpenVLHarness | Прирост |
|---|---|---|---|
| Qwen3-VL-8B | 34.2 | 45.4 | +11.2 |
| Qwen3-VL-32B | 38.3 | 50.9 | +12.6 |
| Kimi K3 (max) | 45.8 | 56.5 | +10.7 |
| GPT-6 Luna (medium) | 52.7 | 64.3 | +11.6 |
| GPT-6 Sol (medium) | 60.3 | 70.2 | +9.9 |
| GPT-6 Astra (medium) | 66.1 | 70.2 | +4.1 |
Для сравнения, другие методы на базе Qwen2.5-VL-7B (AdaReasoner, PixelReasoner) показывают результаты в районе 25–28 баллов, тогда как OpenVLHarness с оригинальными весами достигает 33.5. При этом GPT-6 Astra с OpenVLHarness превосходит даже более сложные архитектуры.
Архитектура: От «глупого» взгляда к «умному» исследованию
Суть метода — в переходе от однократного ответа к итеративному процессу. Модель-оркестратор (MLLM) не просто классифицирует изображение, а планирует шаги. Система предоставляет слой инструментов (Capability Layer), включающий:
- Perception: Zoom-in, Grounding, OCR, Depth, Camera pose.
- Search: Text search, Image search, Webpage visit.
- Coding: Запуск Python-скриптов через Coding Agent для сложных вычислений.
- Memory: Текстовая и мультимодальная память для сохранения контекста между шагами.
Модель может запрашивать «приближение» к объекту, искать его в базе данных или запускать код для расчета расстояний. Например, для задачи на Spatial Reasoning модель Qwen3-VL-32B сделала 8 вызовов инструментов, чтобы точно определить координаты и рассчитать расстояние между объектами, чего она не могла сделать в базовом режиме.
Почему это важно для индустрии
OpenVLHarness демонстрирует, что «тупая» точность MLLM на статичных картинках — это не предел. Добавление агентного слоя с доступом к внешним инструментам и памяти позволяет моделям решать задачи, требующие глубокого анализа (Grounding, Visual Search, Deep Research), с точностью, сопоставимой с моделями, обученными специально под эти задачи. Это открывает путь к созданию универсальных MLLM-агентов, способных адаптироваться к новым задачам «на лету» без переобучения.
Источник: Github ↗