microsoft/Mage

Что это за инструмент

Mage — семейство из трех легких мультимодальных моделей от Microsoft с бюджетом 4B параметров для понимания изображений/видео, генерации контента и управления компьютером.

Зачем нужен

Инструмент решает задачу создания эффективных AI-систем для контролируемых экспериментов и вертикальных приложений в условиях ограниченных вычислительных ресурсов. Он позволяет обучать, дообучать и развертывать модели на скромном оборудовании, сохраняя конкурентоспособность с более крупными открытыми системами.

Что можно реализовать

• Разработка систем понимания видео с низкой задержкой за счет проактивного стриминга и сокращения визуальных токенов.
• Создание агентов для гибридного использования компьютера, взаимодействующих с GUI, кодом и терминалом.
• Генерация изображений по текстовому описанию и редактирование изображений по инструкциям.
• Исследования в области post-training оптимизации и эффективности данных при фиксированном размере модели.

Ключевые возможности

• Единая архитектура на базе 4B параметров для задач понимания (Mage-VL), генерации (Mage-Flow) и computer use (Mage-VL-Cowork).
• Визуальный энкодер Mage-ViT обучен с нуля, сокращает количество визуальных токенов более чем на 75% и ускоряет инференс до 3.5×.
• Mage-VL-Cowork достигает 66.0% на OSWorld-Verified при бюджете 50 шагов, используя эволюционные harnesses для обучения.
• Mage-VL обеспечивает единый чекпоинт для понимания изображений, видео и проактивного стриминга без отдельных вариантов.
• Модели совместимы с Qwen3-4B декодером и показывают сильные результаты на бенчмарках видео и пространственного интеллекта.

👤 Кому подойдёт: Исследователи (AI research), разработчики, работающие с ограниченным compute budget, и инженеры, внедряющие мультимодальные модели в специфические задачи.