Технические характеристики и масштаб
15 октября 2026 года Microsoft представила MAI-Base-2 — новую базовую модель с архитектурой Mixture of Experts (MoE). Модель обладает 2.8 триллионами общих параметров, из которых в каждом вычислительном шаге активно используются только 80 миллиардов. Обучение проводилось на кластере из 16 000 GPU NVIDIA GB200 в течение 38 дней (август-сентябрь 2026 года). Ключевые метрики эффективности обучения: средняя MFU (Model FLOPs Utilization) составила 21%, а goodput (доля времени, когда обучение действительно прогрессировало) — 89%.
Сравнение с лидерами рынка
MAI-Base-2 демонстрирует выдающиеся результаты на независимых тестовых наборах данных (held-out evaluations), исключая риск загрязнения обучающей выборки. Модель превосходит все проверенные аналоги с открытым весом, включая DeepSeek-V4-Pro-Base, Kimi K3, Qwen3.8 и MiMo-V2.6-Pro-RL. Особое внимание уделяется эффективности использования вычислительных ресурсов (FLOPs):
| Метрика / Модель | MAI-Base-2 | DeepSeek-V4-Pro-Base | MAI-Base-1 (для сравнения) |
|---|---|---|---|
| Общее число параметров | 2.8 трлн | >1 трлн | Меньше (точное число не указано) |
| Активные параметры | 80 млрд | Не указано | Не указано |
| Эффективность FLOPs (относительно DeepSeek-V4-Pro-Base) | 4.2–12.3x лучше | База (1x) | 6.3–12.7x улучшение по сравнению с версией 1 |
| Качество текста (BPB) | Наименьшее значение (лучшее) | Выше, чем у MAI-Base-2 | Информация недостаточна |
Инновации в процессе обучения
Прорыв в эффективности достигнут за счет трех ключевых инициатив:
- Scaling Science: Внедрена техника source scaling, которая позволяет корректно масштабировать модели, искусственно ограничивая набор уникальных данных на меньших масштабах. Это предотвращает переобучение архитектуры при переходе к большим моделям.
- Model-Infrastructure Co-design: Оптимизация реализации MoE и алгоритма оптимизатора Muon, а также использование clipping активационных градиентов.
- Scaling Data: Расширение конвейеров данных и интеграция визуальных данных (vision data) в процесс предобучения.
Гиперпараметры и масштабирование
Microsoft разработала новые эмпирические законы масштабирования для выбора гиперпараметров. Вместо прямоугольной сетки оптимизации, исследователи использовали диагональную полосу в пространстве логарифмов скорости обучения (LR) и weight decay, так как эти параметры тесно связаны. Были получены аналитические формулы для оптимальных значений, где зависимость LR от шагов обучения близка к $steps^{-0.5}$, а weight decay — к $steps^{-1}$, что подтверждает теоретические ожидания по масштабированию батча и времени распада весов.
Значение для бизнеса и Foundry
Владение полным стеком от данных до инфраструктуры позволяет Microsoft предлагать лицензирование весов модели через платформу Foundry. Ключевое преимущество — использование органических данных без дистилляции от других моделей, что обеспечивает прозрачное происхождение данных (data provenance) и безопасность для корпоративных клиентов. В настоящее время MAI-Base-2 проходит этап пост-обучения (post-training), результаты которого будут опубликованы дополнительно.
Источник: Microsoft ↗