Выбор железа для локального запуска больших языковых моделей (LLM) часто сводится к дилемме: мощная видеокарта NVIDIA или энергоэффективный Apple Silicon? Мы проанализировали реальные бенчмарки из репозитория GPU-Benchmarks-on-LLM-Inference, где тестировалась модель LLaMA 3 (версии 8B и 70B) через утилиту llama.cpp. Результаты показывают четкое разделение сфер применения: NVIDIA доминирует в скорости, а Apple Silicon предлагает уникальный баланс памяти и производительности для определенных задач.
01Скорость генерации (Tokens/Second)
Самый важный показатель для пользователя — скорость генерации текста. В тестах использовалась квантованная версия модели Q4_K_M (оптимальный баланс качества и скорости) и полная версия F16. Ниже приведены ключевые результаты для генерации 1024 токенов:
| Железо | VRAM | LLaMA 3 8B (Q4_K_M) | LLaMA 3 70B (Q4_K_M) |
|---|---|---|---|
| RTX 4090 (1x) | 24 GB | 127.74 | OOM (Out of Memory) |
| RTX 4090 (4x) | 96 GB | 117.61 | 18.83 |
| H100 PCIe (1x) | 80 GB | 144.49 | 25.01 |
| H100 PCIe (4x) | 320 GB | 118.14 | 26.20 |
| M2 Ultra | 192 GB | 76.28 | 12.13 |
| M3 Max (64GB) | 64 GB | 50.74 | 7.53 |
Как видно, H100 PCIe является абсолютным лидером по скорости для модели 8B, но при масштабировании до 4 карт прирост для 8B незначителен, а для 70B он остается королем. RTX 4090 показывает выдающиеся результаты для одиночной карты, обгоняя даже некоторые профессиональные решения NVIDIA в задачах с 8B моделями. Однако, для моделей 70B одна RTX 4090 не справляется из-за нехватки памяти (OOM), требуя либо кластера из 4-8 карт, либо перехода на решения с большим VRAM.
02Скорость оценки промпта (Prompt Eval)
Вторая метрика — скорость обработки входного контекста (prompt evaluation). Здесь важна пропускная способность памяти. H100 снова лидирует, обрабатывая промпт для 8B модели с высокой скоростью. RTX 4090 показывает отличный результат, что делает её одним из лучших вариантов для работы с длинными контекстами при ограниченном бюджете. Apple Silicon (M2 Ultra) уступает NVIDIA в чистой скорости обработки, что в несколько раз медленнее топовых NVIDIA GPU.
03Сборка и запуск llama.cpp
Для получения этих результатов использовался инструмент llama.cpp. Процесс сборки и запуска имеет свои нюансы для разных архитектур.
Для NVIDIA GPU: Необходимо включить поддержку CUDA (BLAS acceleration).
!make clean && LLAMA_CUBLAS=1 make -jДля Apple Silicon: Metal включен по умолчанию, сборка стандартная.
!make clean && make -jПри запуске критически важен флаг -ngl 10000, который гарантирует, что все слои модели будут загружены в GPU/Unified Memory. Если использовать -ngl 0, инференс пойдет на CPU, что резко снизит скорость.
-ngl 0, но это убьет производительность.04VRAM и совместимость моделей
Главный ограничитель — объем видеопамяти. Вот как распределяются модели LLaMA 3 по требованиям VRAM в квантовании Q4_K_M:
- LLaMA 3 8B: Требует около 5-6 ГБ VRAM. Запускается на RTX 3070 (8GB), RTX 4090 (24GB), M1/M2/M3 сериях. Это самый быстрый сегмент.
- LLaMA 3 70B: Требует около 40-48 ГБ VRAM в Q4_K_M. Одиночные карты типа RTX 4090 (24GB) или RTX 4000 Ada (20GB) не справляются (OOM). Необходимы: RTX A6000 (48GB), RTX 6000 Ada (48GB), A100 (40/80GB), H100 (80GB) или M2 Ultra (192GB).
Для моделей 70B в полном формате F16 требуется более 140 ГБ, что делает их недоступными для большинства потребительских и даже многих профессиональных GPU без использования распределенного инференса или квантования до Q2/Q3 (что снижает качество).
05Какое железо кому подойдёт
Исходя из данных тестов, можно сформулировать следующие рекомендации для российского рынка (с учетом доступности через параллельный импорт или аренду):
- Бюджетный энтузиаст (до 100-150 тыс. руб.): RTX 4090 (24GB). Лучшее соотношение цена/производительность для моделей 7B-13B. Для 70B моделей не подходит. Альтернатива: RTX 3090 (24GB) (б/у), которая показывает отличные результаты для 8B, почти не уступая 4090, но стоит дешевле.
- Продвинутый пользователь / Малый бизнес (20
Источник: источник (тест/офиц. документация) ↗