Архитектура и ключевые характеристики
Baidu представила ERNIE 5.5-Flash-Base — базовую языковую модель на архитектуре Sparse Mixture-of-Experts (MoE). Это «чистый» чекпоинт конца претрейна, не прошедший инструктивное или пост-обучение, что позволяет разработчикам самостоятельно настраивать модель под свои задачи. Ключевые технические параметры:
- Общее число параметров: 280 миллиардов.
- Активные параметры на токен: 14 миллиардов (высокая эффективность инференса).
- Объем данных для претрейна: 33.5 триллионов токенов.
- Контекстное окно: до 128K токенов при обучении, до 1 млн токенов при инференсе и тонкой настройке.
- Количество слоев: 43 трансформерных слоя.
Инновации в механизмах внимания
Модель использует гибридный подход к обработке контекста, балансируя между качеством и вычислительными затратами. В архитектуре применены:
- Hybrid MLA + HCA: 6 из 7 слоев используют Heavily Compressed Attention (HCA), сжимая каждые 128 токенов в один кэш-запись. Только один слой из семи (Multi-head Latent Attention, MLA) сохраняет полный доступ к контексту на уровне токенов.
- Sparse Attention (DSA): В слоях MLA применяется разреженное внимание, где вычисляется только топ-k наиболее релевантных позиций, что фиксирует стоимость внимания при росте длины контекста.
- Low-Rank Gated Attention: Вентрирование внимания происходит через латентные представления, что сокращает количество весов на 75% и улучшает стабильность обучения.
Эффективная система MoE
Вместо стандартного роутера Baidu внедрила Multi-Router Latent MoE. Несколько независимых сигмоидальных роутеров совместно оценивают экспертов, что снижает риск ошибок маршрутизации и улучшает корреляцию между выбором эксперта и его полезностью. Архитектура MoE включает:
- 512 маршрутизируемых экспертов (выбирается топ-10) и 1 общий эксперт.
- Проекция токенов в латентное пространство размерности 2048 (вместо 4096), что почти вдвое снижает трафик dispatch/combine и вычислительные затраты экспертов.
Значение для разработчиков
Релиз ERNIE 5.5 Flash Base направлен на снижение барьера входа в разработку специализированных AI-агентов. Предоставляя веса до этапа пост-обучения, Baidu позволяет исследователям:
- Избегать затрат на масштабный претрейн.
- Проводить контролируемые сравнения методов дообучения (domain adaptation, RLHF) на единой базовой точке.
- Экономить ресурсы за счет эффективной архитектуры, критичной для многооборотных агентов с длинным контекстом.
Источник: Baidu ↗