Tencent открыла исходный код ИИ-модели Hunyuan A13B с контекстом 256k

<p><strong>Tencent представила открытый ИИ-модуль нового поколения — Hunyuan A13B. Это 13-миллиардная модель с активными параметрами и поддержкой контекста до 256 000 токенов.</strong></p> <p>Главной особенностью модели Hunyuan A13B стала архитектура с активными параметрами (Mixture-of-Experts, MoE), где при каждом запросе активны только 2 из 8 маршрутов. Благодаря этому достигается баланс между масштабом и вычислительной эффективностью: модель содержит в общей сложности 13 миллиардов параметров, но использует лишь 1,9 миллиарда на одну инференцию.</p> <p>Модель разработана в двух вариантах — Hunyuan-A13B Base и Hunyuan-A13B-Chat. Обе версии поддерживают расширенный контекст в 128k и 256k токенов благодаря технологии «отпечатков внимания» (attention fingerprints), что особенно ценно при обработке длинных документов, программного кода и сложных диалогов.</p> <p>В Tencent подчёркивают, что MoE-подход позволил в 2–3 раза сократить ресурсы, необходимые для тренировки и запуска модели по сравнению с плотными аналогами того же качества. В ходе тестов Hunyuan A13B показала превосходство над LLaMA 3 8B и приближается к уровню LLaMA 3 70B в ряде задач.</p> <p>Эксперты уже называют это важным шагом в сторону «настраиваемых» ИИ-систем, которые можно адаптировать к конкретным сценариям без чрезмерных затрат. «Открытие моделей такого уровня позволяет индустрии быстрее тестировать гипотезы и создавать кастомные решения», — отмечают аналитики в области искусственного интеллекта.</p> <p>В комплекте с моделью опубликованы весовые файлы, код запуска и настройки, а также поддержка работы с платформами HuggingFace Transformers и vLLM. Лицензия разрешает как исследовательское, так и коммерческое использование.</p> <p>Hunyuan A13B стала одним из наиболее технически продвинутых и при этом открытых решений в области масштабируемых моделей на 2025 год. Ожидается, что её выход активизирует разработку кастомных корпоративных ИИ и ускорит интеграцию моделей в промышленные приложения.</p>