AIKraft Agents
Главная/Блог/Обзор/NVIDIA vs Apple Silicon: Тест LLM на…
Обзор4 мин чтения · 19 ноября 2026 г.

NVIDIA vs Apple Silicon: Тест LLM на llama.cpp

Сравнение скорости инференса LLaMA 3 на NVIDIA (RTX 4090, H100) и Apple Silicon (M2 Ultra). Реальные цифры токенов/с и VRAM.

Выбор железа для локального запуска больших языковых моделей (LLM) часто сводится к дилемме: мощная видеокарта NVIDIA или энергоэффективный Apple Silicon? Мы проанализировали реальные бенчмарки из репозитория GPU-Benchmarks-on-LLM-Inference, где тестировалась модель LLaMA 3 (версии 8B и 70B) через утилиту llama.cpp. Результаты показывают четкое разделение сфер применения: NVIDIA доминирует в скорости, а Apple Silicon предлагает уникальный баланс памяти и производительности для определенных задач.

01Скорость генерации (Tokens/Second)

Самый важный показатель для пользователя — скорость генерации текста. В тестах использовалась квантованная версия модели Q4_K_M (оптимальный баланс качества и скорости) и полная версия F16. Ниже приведены ключевые результаты для генерации 1024 токенов:

Железо VRAM LLaMA 3 8B (Q4_K_M) LLaMA 3 70B (Q4_K_M)
RTX 4090 (1x) 24 GB 127.74 OOM (Out of Memory)
RTX 4090 (4x) 96 GB 117.61 18.83
H100 PCIe (1x) 80 GB 144.49 25.01
H100 PCIe (4x) 320 GB 118.14 26.20
M2 Ultra 192 GB 76.28 12.13
M3 Max (64GB) 64 GB 50.74 7.53

Как видно, H100 PCIe является абсолютным лидером по скорости для модели 8B, но при масштабировании до 4 карт прирост для 8B незначителен, а для 70B он остается королем. RTX 4090 показывает выдающиеся результаты для одиночной карты, обгоняя даже некоторые профессиональные решения NVIDIA в задачах с 8B моделями. Однако, для моделей 70B одна RTX 4090 не справляется из-за нехватки памяти (OOM), требуя либо кластера из 4-8 карт, либо перехода на решения с большим VRAM.

⚠️
Важно. Для моделей 70B в формате F16 (без квантования) ни одна из перечисленных конфигураций, кроме, возможно, специализированных кластеров, не смогла запустить инференс (отмечено как OOM). Для 70B F16 требуется более 140 ГБ VRAM, что доступно только в конфигурациях с 8x H100/A100 или специфических серверных решениях.

02Скорость оценки промпта (Prompt Eval)

Вторая метрика — скорость обработки входного контекста (prompt evaluation). Здесь важна пропускная способность памяти. H100 снова лидирует, обрабатывая промпт для 8B модели с высокой скоростью. RTX 4090 показывает отличный результат, что делает её одним из лучших вариантов для работы с длинными контекстами при ограниченном бюджете. Apple Silicon (M2 Ultra) уступает NVIDIA в чистой скорости обработки, что в несколько раз медленнее топовых NVIDIA GPU.

03Сборка и запуск llama.cpp

Для получения этих результатов использовался инструмент llama.cpp. Процесс сборки и запуска имеет свои нюансы для разных архитектур.

Для NVIDIA GPU: Необходимо включить поддержку CUDA (BLAS acceleration).

terminalbash
!make clean && LLAMA_CUBLAS=1 make -j

Для Apple Silicon: Metal включен по умолчанию, сборка стандартная.

terminalbash
!make clean && make -j

При запуске критически важен флаг -ngl 10000, который гарантирует, что все слои модели будут загружены в GPU/Unified Memory. Если использовать -ngl 0, инференс пойдет на CPU, что резко снизит скорость.

💡
Совет. На Apple Silicon (особенно M1 Max 32GB) доступно только ~70% унифицированной памяти для GPU, чтобы сохранить стабильность системы. На более новых чипах (M2/M3 Ultra) этот лимит составляет около 78%. Если вам нужно использовать всю память, придется переключаться на CPU-инференс через -ngl 0, но это убьет производительность.

04VRAM и совместимость моделей

Главный ограничитель — объем видеопамяти. Вот как распределяются модели LLaMA 3 по требованиям VRAM в квантовании Q4_K_M:

  • LLaMA 3 8B: Требует около 5-6 ГБ VRAM. Запускается на RTX 3070 (8GB), RTX 4090 (24GB), M1/M2/M3 сериях. Это самый быстрый сегмент.
  • LLaMA 3 70B: Требует около 40-48 ГБ VRAM в Q4_K_M. Одиночные карты типа RTX 4090 (24GB) или RTX 4000 Ada (20GB) не справляются (OOM). Необходимы: RTX A6000 (48GB), RTX 6000 Ada (48GB), A100 (40/80GB), H100 (80GB) или M2 Ultra (192GB).

Для моделей 70B в полном формате F16 требуется более 140 ГБ, что делает их недоступными для большинства потребительских и даже многих профессиональных GPU без использования распределенного инференса или квантования до Q2/Q3 (что снижает качество).

05Какое железо кому подойдёт

Исходя из данных тестов, можно сформулировать следующие рекомендации для российского рынка (с учетом доступности через параллельный импорт или аренду):

  1. Бюджетный энтузиаст (до 100-150 тыс. руб.): RTX 4090 (24GB). Лучшее соотношение цена/производительность для моделей 7B-13B. Для 70B моделей не подходит. Альтернатива: RTX 3090 (24GB) (б/у), которая показывает отличные результаты для 8B, почти не уступая 4090, но стоит дешевле.
  2. Продвинутый пользователь / Малый бизнес (20

    Источник: источник (тест/офиц. документация) ↗