lyogavin/airllm

Что это за инструмент

AirLLM — библиотека для инференса и обучения огромных языковых моделей (LLM) на видеокартах с малым объемом памяти (VRAM) за счет послойной загрузки весов.

Зачем нужен

Инструмент позволяет запускать модели с сотнями миллиардов параметров (например, 70B, 125B, 671B и даже 2.8T) на одном GPU с 4-12 ГБ памяти без использования квантования, дистилляции или прунинга. Это полезно для локального тестирования, прототипирования и использования топовых open-source моделей на бюджетном оборудовании.

Что можно реализовать

• Запуск Llama3 70B, Qwen3.8-Flash-Next (125B) или DeepSeek-V3 (671B) на GPU с 4-12 ГБ VRAM
• Обучение (fine-tuning) больших моделей (например, Qwen3.8-Flash-Next 125B) на GPU с малым объемом памяти (от 2-6 ГБ)
• Локальный запуск самых крупных открытых LLM (включая Kimi K3 2.8T) без необходимости в кластере GPU
• Инференс на macOS с использованием больших моделей

Ключевые возможности

• Поддержка моделей до 2.8T параметров (Kimi K3) на GPU с 3.72 ГБ VRAM
• Отсутствие необходимости в квантовании, дистилляции или прунинге для экономии памяти
• Встроенная поддержка обучения (training) огромных моделей на слабом железе
• Автоматическое определение типа модели через AutoModel
• Оптимизация скорости за счет префетчинга (prefetching) и потоковой загрузки экспертов

👤 Кому подойдёт: разработчики, исследователи и энтузиасты, желающие работать с крупными LLM локально на ограниченном оборудовании