om-ai-lab/VLM-R1

Что это за инструмент

VLM-R1 — это фреймворк для обучения больших зрительно-языковых моделей (VLM) методом усиленного обучения (RL), вдохновленным архитектурой R1.

Зачем нужен

Инструмент решает проблему плохой обобщающей способности моделей при стандартном дообучении (SFT), позволяя VLM развивать навыки рассуждения на визуальных данных. Это полезно для создания стабильных и точных систем, способных справляться с задачами, выходящими за рамки обучающей выборки.

Что можно реализовать

• Точное локализация объектов по текстовому описанию (Referring Expression Comprehension)
• Обнаружение объектов без предварительной разметки классов (Open-Vocabulary Detection)
• Анализ сложных сценариев с несколькими изображениями
• Адаптация моделей Qwen2.5-VL и InternVL под специфические визуальные задачи

Ключевые возможности

• Применение алгоритма GRPO для усиленного обучения зрительно-языковых моделей
• Поддержка LoRA и полного дообучения (Full Fine-tuning) с возможностью заморозки визуальных модулей
• Оптимизация производительности: снижение TTFT на 50% и рост пропускной способности на 127% с использованием фреймворка xllm
• Готовая поддержка оборудования Huawei Ascend (Atlas 800T A2, 300I Duo) через vllm-ascend
• Гибкая система наград (reward functions), включая кастомизацию логики внутри модулей VLM

👤 Кому подойдёт: Исследователи в области компьютерного зрения и NLP, ML-инженеры, разрабатывающие кастомные VLM, и разработчики, оптимизирующие инференс на специфичном железе (Huawei Ascend).