Прорыв в эффективности: архитектура MoE
Tencent официально представила модель Hy3, которая выделяется на фоне конкурентов благодаря гибридной архитектуре. Модель имеет общий размер в 295 миллиардов параметров, но в процессе генерации активно использует только 21 миллиард. Это достигается за счет механизма Mixture of Experts (MoE), что позволяет значительно снизить вычислительные затраты и задержки при сохранении высокого качества ответов.
Результаты слепых тестов против GLM-5.1
Ключевым достижением Hy3 стало успешное прохождение слепых тестов экспертного сообщества. В сравнении с моделью GLM-5.1 от компании Zhipu AI, Hy3 продемонстрировала превосходство в качестве ответов. Эксперты, не знавшие, какой именно моделью генерируется ответ, отдавали предпочтение решениям Tencent, что подтверждает ее конкурентоспособность на уровне передовых проприетарных решений.
Доступность и лицензирование
В отличие от многих закрытых аналогов, Tencent сделала Hy3 доступной для широкой публики. Модель распространяется под лицензией Apache 2.0, что открывает возможности для коммерческого использования, модификации и интеграции в корпоративные решения без строгих ограничений. Это шаг, направленный на демократизацию доступа к мощным языковым моделям.
Сравнительные характеристики
Для наглядности эффективности архитектуры Hy3, ниже приведена сводка ключевых параметров модели:
| Параметр | Значение / Характеристика |
|---|---|
| Общее количество параметров | 295 Billion (295B) |
| Активные параметры (на шаг) | 21 Billion (21B) |
| Архитектура | Mixture of Experts (MoE) |
| Лицензия | Apache 2.0 (Open Source) |
| Ключевое достижение | Победа над GLM-5.1 в слепом тесте |
Значение для рынка
Появление Hy3 усиливает конкуренцию в сегменте открытых LLM. Способность модели с 21B активными параметрами конкурировать с более крупными или закрытыми аналогами (такими как GLM-5.1) указывает на то, что оптимизация архитектуры MoE становится критически важным фактором для снижения стоимости инференса. Для разработчиков это означает возможность развертывать более мощные модели на менее ресурсоемкой инфраструктуре.
Источник: Towards AI pub ↗