togethercomputer/OpenChatKit

Что это за инструмент

OpenChatKit — это открытый набор инструментов для обучения, тонкой настройки и развертывания больших языковых моделей (LLM) с поддержкой инструкций и контекста.

Зачем нужен

Инструмент позволяет создавать как общие, так и специализированные чат-модели, используя готовые базовые архитектуры. Он полезен для разработчиков, которым нужно быстро запустить обучение или инференс моделей, интегрировав их с внешними базами знаний через систему извлечения информации (RAG).

Что можно реализовать

• Запуск локального чат-бота с поддержкой истории диалога на базе Pythia-Chat-Base-7B
• Тонкая настройка (fine-tuning) модели Llama-2-7B-32K-beta на собственных датасетах для работы с длинным контекстом
• Воспроизведение результатов обучения моделей семейства Pythia для исследовательских целей
• Интеграция модели с внешними источниками данных для получения актуальных ответов через retrieval-augmented generation

Ключевые возможности

• Поддержка нескольких архитектур: GPT-NeoXT-Chat-Base-20B, Llama-2-7B-32K-beta и Pythia-Chat-Base-7B
• Встроенная система извлечения информации (retrieval system) для дополнения ответов контекстом
• Готовые скрипты для обучения, конвертации весов в формат Hugging Face и тестирования инференса
• Интеграция с системами мониторинга Loguru и Weights & Biases
• Открытая лицензия Apache 2.0 для ключевых моделей

👤 Кому подойдёт: ML-инженеры, исследователи в области NLP и разработчики, занимающиеся кастомизацией LLM и внедрением RAG-систем