thu-pacman/chitu

Что это за инструмент

Chitu — это высокопроизводительный фреймворк для инференса больших языковых моделей (LLM), ориентированный на эффективность, гибкость и стабильность в продакшене.

Зачем нужен

Инструмент решает задачу развертывания LLM от единичных тестов до масштабных кластерных инсталляций, обеспечивая поддержку разнообразного аппаратного обеспечения. Он полезен для оптимизации производительности и снижения затрат за счет квантования и эффективных операторов, а также для обеспечения стабильной работы под высокой нагрузкой.

Что можно реализовать

• Развертывание LLM на неоднородных кластерах с использованием PD-разделения (Prompt Encoder / Decoder) и мульти-нод.
• Инференс на国产 GPU (Huawei Ascend 910B, Moore Threads, MetaX, Hygon) и NVIDIA.
• Запуск огромных моделей (например, DeepSeek-R1 671B) на ограниченном оборудовании с использованием CPU+GPU гетерогенного инференса.
• Использование квантования FP4 для ускорения работы с моделями, поддерживающими этот формат.

Ключевые возможности

• Поддержка широкого спектра GPU: NVIDIA, Huawei Ascend, Moore Threads, MetaX, Hygon.
• Поддержка сложных архитектур: PD-разделение, мульти-нод, CPU+GPU гетерогенный инференс.
• Эффективные оптимизации: FP4 онлайн-квантование, FP8/BF16 операторы.
• Простой деплой через единый исполняемый файл chitu.run.
• Поддержка популярных моделей: DeepSeek, Qwen, GLM, Kimi.

👤 Кому подойдёт: ML-инженеры, DevOps-специалисты и компании, развертывающие LLM в продакшене, особенно использующие国产 GPU или требующие высокой масштабируемости.