THUDM/ChatGLM2-6B

Что это за инструмент

ChatGLM2-6B — это открытая двуязычная (китайский/английский) языковая модель с 6 миллиардами параметров, разработанная THUDM.

Зачем нужен

Инструмент предназначен для локального развертывания и интеграции в приложения, требующие понимания и генерации текста на двух языках. Он полезен благодаря балансу между производительностью, размером модели и возможностью коммерческого использования после регистрации.

Что можно реализовать

• Локальный запуск чат-бота на оборудовании с ограниченным объемом VRAM (например, 6 ГБ)
• Обработка и анализ длинных документов (до 32K контекстных токенов)
• Создание кастомных AI-ассистентов с использованием P-Tuning v2 для дообучения
• Разработка приложений с низким временем отклика за счет оптимизированного инференса

Ключевые возможности

• Увеличение контекстного окна до 32K токенов с использованием FlashAttention
• Повышение скорости инференса на 42% благодаря Multi-Query Attention
• Значительный рост качества в тестах MMLU (+23%), C-Eval (+33%) и GSM8K (+571%) по сравнению с первой версией
• Поддержка INT4-квантования, позволяющая запускать модель на видеокартах с 6 ГБ памяти
• Открытая лицензия, разрешающая бесплатное коммерческое использование после заполнения анкеты

👤 Кому подойдёт: разработчики, исследователи, стартапы, нуждающиеся в легальном и эффективном LLM для локального деплоя