Архитектура и эффективность
Baidu официально выпустила модель ERNIE 5.5 Flash на платформе Hugging Face. Ключевой особенностью новинки является использование технологии активации подмножества параметров (Mixture of Experts или аналогичной sparse-архитектуры). Общая модель содержит 280 миллиардов параметров, однако в каждый момент времени обрабатываются запросы только 14 миллиардами активных параметров.
Такой подход позволяет достичь высокой скорости инференса (генерации ответов) и снизить требования к вычислительным ресурсам, сохраняя при этом высокую интеллектуальную емкость модели, характерную для больших языковых моделей (LLM).
Доступность и версии
На момент публикации доступно два варианта модели. Обновление репозитория на Hugging Face было произведено менее 5 часов назад, что указывает на свежий релиз и активную поддержку со стороны разработчиков.
| Характеристика | Значение |
|---|---|
| Название модели | ERNIE 5.5 Flash |
| Разработчик | Baidu |
| Общее число параметров | 280 млрд |
| Активные параметры (inference) | 14 млрд |
| Платформа | Hugging Face |
| Количество доступных версий | 2 |
Значение для рынка
Выпуск ERNIE 5.5 Flash демонстрирует тренд на оптимизацию больших моделей для практического применения. Сочетание огромной базы знаний (за счет общего числа параметров) и быстрой работы (за счет активных 14 млрд) делает эту модель конкурентоспособной в сегменте коммерческого развертывания LLM, где важны как latency, так и стоимость вычислений.
Источник: Huggingface ↗