mistralai/mistral-inference

Что это за инструмент

Официальная библиотека для локального запуска моделей Mistral, однако репозиторий архивирован и больше не поддерживается.

Зачем нужен

Предоставляет минималистичный код для инференса моделей Mistral (7B, Mixtral, Codestral и др.) с использованием GPU и xformers. Полезен для тестирования или интеграции старых версий моделей, но из-за статуса 'archived' не рекомендуется для новых проектов.

Что можно реализовать

• Локальный запуск устаревших версий Mistral 7B или Mixtral 8x7B/8x22B
• Тестирование функционала function calling в старых моделях
• Обучение работе с архитектурой Mistral через Colab-ноутбуки
• Использование специфических моделей, таких как Mathstral 7B или Codestral-Mamba 7B

Ключевые возможности

• Поддержка широкого спектра моделей: от 7B до 22B параметров, включая мультимодальные Pixtral
• Встроенная поддержка function calling в большинстве моделей
• Простая установка через pip или poetry
• Наличие готовых ноутбуков для быстрого старта (Getting Started)
• Прямые ссылки на скачивание моделей в формате .safetensors

👤 Кому подойдёт: Разработчики, исследователи и энтузиасты, работающие с локальными LLM, готовые использовать устаревший инструмент для специфических задач или тестирования.