Stability-AI/StableLM

Что это за инструмент

StableLM — это серия языковых моделей от Stability AI (разработчиков Stable Diffusion), доступная в различных размерах, включая компактную версию 3B-4E1T.

Зачем нужен

Инструмент предназначен для создания и развертывания собственных LLM-решений, от базовых генераторов текста до чат-ботов. Он полезен тем, кто ищет открытые модели с гибкими лицензиями дляfine-tuning под конкретные задачи или для работы в условиях ограниченных вычислительных ресурсов.

Что можно реализовать

• Разработка легковесных чат-ботов и ассистентов на базе модели StableLM-Tuned-Alpha-7B
• Исследование влияния многократного прохода по данным (multi-epoch) на качество моделей малого размера
• Создание специализированных моделей через дообучение (fine-tuning) базовых чекпоинтов StableLM-3B-4E1T
• Локальный запуск LLM на оборудовании с ограниченными ресурсами благодаря компактным размерам (3B, 7B)

Ключевые возможности

• Наличие модели 3B-4E1T, оптимизированной для обучения на 4 эпохах 1 триллиона токенов
• Открытые лицензии (CC BY-SA-4.0 и CC BY-NC-SA-4.0), позволяющие свободное использование и модификацию
• Архитектура на базе decoder-only transformer с использованием Rotary Position Embeddings
• Доступность дообученных версий (tuned) и версий с RLHF (например, StableVicuna-13B)
• Обучение на смеси качественных датасетов: Falcon RefinedWeb, RedPajama-Data, The Pile и StarCoder

👤 Кому подойдёт: Исследователи в области NLP, разработчики, интересующиеся оптимизацией LLM, и компании, ищущие открытые альтернативы коммерческим моделям с возможностью кастомизации.