Проблема аннотаторов и новая архитектура
Традиционные модели вознаграждения (Reward Models) для vision-language систем требуют дорогостоящих пар предпочтений, размеченных людьми. Авторы статьи Unsupervised Multimodal Reward Modeling (arXiv:2610.12707) предлагают альтернативу: обучение линейной головы на промежуточном слое замороженного бэкбона Qwen3-VL (32B параметров). Ключевое отличие — отсутствие данных с человеческими предпочтениями. Модель обучается сравнивать оригинальную веб-подпись к изображению с ее возмущенной (perturbed) версией. Данные с метками используются только для выбора оптимального промежуточного слоя.
Ключевые метрики и сравнения
Выбор слоя оказался критическим фактором: использование промежуточного слоя дало прирост в 5.8 балла по сравнению с использованием последнего слоя. Модель, обученная таким образом, демонстрирует выдающиеся результаты, превосходя или на равных конкурируя с GPT-4o в трех бенчмарках, несмотря на то, что использует лишь тысячную часть вычислительных ресурсов для дообучения.
| Метрика / Сравнение | Результат / Преимущество | Примечание |
|---|---|---|
| VL-RewardBench | +6.6 баллов | По сравнению с базовой линией (GPT-4o) |
| CHAIR (галлюцинации) | -5.1 балла | Снижение галлюцинаций при повторном обучении на верификаторе |
| Image-Generation Pass Rate | +5.4 балла | Улучшение качества генерации изображений |
| Стоимость обучения | ~1/1000 от RLAIF-V | Экономия вычислительных ресурсов |
| Эффективность данных | +3-5 баллов | Возмущения учат лучше, чем курированные пары RLAIF-V при равном бюджете |
Почему это важно для индустрии
Метод демонстрирует, что объективная функция вознаграждения может быть задана через сам процесс сравнения (perturbation sampler), а не через ранжирование в бенчмарках. Это решает проблему «смерти» модели после оптимизации под метрику. Исследователи показали, что две головы, обученные на разных половинах одних и тех же возмущений, дают одинаковый результат в бенчмарке, но различаются на 6.4 балла в оценке галлюцинаций. Это доказывает, что бенчмарки не всегда отражают реальное качество модели.
Верификация и будущее
Дополнительное обучение головы на кандидатах, размеченных собственным верификатором политики (policy's own verifier), позволило снизить галлюцинации на 5.1 балла CHAIR и повысить проходимость генерации изображений на 5.4 балла. Примечательно, что при этом модель показала более низкие результаты на стандартных reward-бенчмарках, что подчеркивает разрыв между «игрой в бенчмарки» и реальной полезностью модели. Этот подход открывает путь к созданию масштабируемых мультимодальных систем без участия аннотаторов.
Источник: arXiv cs.CL ↗