meta-llama/llama

Что это за инструмент

Это устаревший репозиторий с кодом для запуска инференса моделей Llama 2. Meta официально прекратила его поддержку, перенеся функциональность в новые репозитории Llama Stack.

Зачем нужен

Инструмент позволял загружать веса моделей Llama 2 (от 7B до 70B) и запускать локальный инференс (текстовую генерацию или чат) с использованием PyTorch. Он полезен только для понимания исторического контекста или работы с устаревшими системами, так как для новых задач следует использовать актуальные инструменты.

Что можно реализовать

• Локальный запуск моделей Llama 2 для тестирования производительности на старом оборудовании
• Изучение базового принципа загрузки весов и токенизаторов Llama через скрипты Meta
• Миграция старых проектов с Llama 2 на новые репозитории (llama-toolchain, llama-models)
• Эксперименты с pre-trained моделями для задачи текстового завершения (text completion)

Ключевые возможности

• Поддержка моделей Llama 2 с количеством параметров 7B, 13B и 70B
• Встроенные примеры для запуска инференса через torchrun (chat и text completion)
• Необходимость ручного получения ссылки на скачивание через сайт Meta
• Требует настройки model-parallel (MP) в зависимости от размера модели
• Статус 'Deprecated': проект больше не поддерживается, есть новые аналоги

👤 Кому подойдёт: Исследователи и разработчики, работающие с устаревшими моделями Llama 2 или изучающие историю экосистемы Meta AI