deep-diver/LLM-As-Chatbot

Что это за инструмент

Инструмент для развертывания открытых LLM-моделей в виде чат-бота через веб-интерфейс Gradio или Discord.

Зачем нужен

Позволяет легко тестировать различные fine-tuned LLM-модели, абстрагируясь от различий в форматах промптов с помощью библиотеки Ping Pong. Предоставляет готовый UI, похожий на HuggingChat, и интеграцию с Discord для быстрого доступа к моделям.

Что можно реализовать

• Быстрое тестирование множества открытых LLM-моделей через веб-интерфейс без написания кода.
• Создание Discord-бота на базе выбранной LLM-модели для общения в чатах.
• Использование модели с доступом к интернету (через Serper API) для поиска актуальной информации.
• Развертывание сервиса на GPU-инстансах через Jarvislabs.ai или dstack.
• Локальный запуск чат-бота с использованием только скачанных весов моделей.

Ключевые возможности

• Поддержка интернет-поиска через интеграцию с Serper API.
• Работа в двух режимах: веб-приложение на Gradio и бот для Discord.
• Универсальное управление контекстом и промптами через библиотеку Ping Pong.
• Простой запуск через облачные платформы Jarvislabs.ai и dstack.
• Поддержка различных режимов инференса (CPU, MPS, 8bit, 4bit, full-gpu).

👤 Кому подойдёт: Разработчики, исследователи и энтузиасты, желающие быстро протестировать или интегрировать открытые LLM-модели в свои проекты или сообщества.