AIKraft Agents
Главная/Блог/Обзор/NVIDIA vs Apple Silicon: скорость…
Обзор6 мин чтения · 20 октября 2026 г.

NVIDIA vs Apple Silicon: скорость инференса LLM

тест токен/с разных NVIDIA GPU и Apple Silicon (M-серии) на моделях 7B-70B через llama.cpp

NVIDIA vs Apple Silicon: скорость инференса LLM

NVIDIA vs Apple Silicon: скорость инференса LLM

Выбор аппаратной платформы для локального запуска больших языковых моделей (LLM) — это всегда компромисс между стоимостью, энергоэффективностью и пропускной способностью памяти. В последние годы Apple Silicon (чипы M1, M2, M3 серии) стал серьезным конкурентом традиционным видеокартам NVIDIA благодаря архитектуре унифицированной памяти (Unified Memory). Однако, насколько этот подход масштабируется на практике?

Для ответа на этот вопрос был проведен сравнительный анализ скорости инференса моделей семейства LLaMA 3 (версии 8B и 70B) на различных конфигурациях GPU. Тестирование проводилось с использованием оптимизированного движка llama.cpp. В качестве эталонных устройств выступили как серверные решения NVIDIA (от RTX 30-й и 40-й серий до A100 и H100), так и потребительские устройства Apple: 13-дюймовый MacBook Air (M1), MacBook Pro (M1 Max, M3 Max) и Mac Studio (M2 Ultra).

01Методология тестирования

Ключевым метрическим показателем стала скорость генерации токенов (tokens/s) при создании последовательности из 1024 токенов. Тестировались два основных формата квантования и точности:

  • Q4_K_M: 4-битное квантование (наиболее популярный баланс скорости и качества).
  • F16: 16-битная плавающая точка (максимальная точность, требует больше памяти).

Особое внимание уделялось сценариям с использованием нескольких GPU (multi-GPU), так как именно там кроется главное преимущество NVIDIA, которое Apple пытается компенсировать объемом памяти в одном чипе.

02Результаты: генерация токенов

Сводные данные показывают четкое разделение платформ. NVIDIA лидирует в абсолютных значениях скорости благодаря высокой пропускной способности памяти (Memory Bandwidth) и оптимизированным ядрам CUDA. Однако Apple Silicon демонстрирует удивительно высокую эффективность для мобильных и рабочих станций начального уровня.

Модель LLaMA 3 8B (Q4_K_M)

Для компактной модели 8B лидерство принадлежит флагманам NVIDIA. H100 показывает результат 144.49 токенов/с, за ней следуют RTX 6000 Ada (130.99) и A100 (138.31). Среди решений Apple лучший результат показал M2 Ultra (76.28 токенов/с), что сопоставимо с RTX 4090 (127.74) только в однопоточном режиме, но значительно уступает при сборке кластеров.

Модель LLaMA 3 70B (Q4_K_M)

Здесь становится очевидным преимущество архитектуры NVIDIA с возможностью мульти-GPU. Модель 70B в 4-битном квантовании не помещается в память большинства потребительских карт Apple (OOM — Out Of Memory), за исключением M2 Ultra. Однако даже M2 Ultra выдает лишь 12.13 токенов/с. В то же время, связка из четырех H100 обеспечивает 26.20 токенов/с, а одиночный A100 — 22.11 токенов/с. NVIDIA выигрывает за счет возможности легко масштабировать вычисления, добавляя карты.

03Сводная таблица производительности (tokens/s)

Ниже представлены полные данные по скорости генерации 1024 токенов. Обратите внимание на строки с умножением (например, 4090 * 4), которые показывают эффективность масштабирования.

terminaltext
| GPU                        | 8B Q4_K_M | 8B F16 | 70B Q4_K_M | 70B F16 |
|----------------------------|-----------|--------|------------|---------|
| 3070 8GB                   | 70.94     | OOM    | OOM        | OOM     |
| 3080 10GB                  | 106.40    | OOM    | OOM        | OOM     |
| 3080 Ti 12GB               | 106.71    | OOM    | OOM        | OOM     |
| 4070 Ti 12GB               | 82.21     | OOM    | OOM        | OOM     |
| 4080 16GB                  | 106.22    | 40.29  | OOM        | OOM     |
| RTX 4000 Ada 20GB          | 58.59     | 20.85  | OOM        | OOM     |
| 3090 24GB                  | 111.74    | 46.51  | OOM        | OOM     |
| 4090 24GB                  | 127.74    | 54.34  | OOM        | OOM     |
| RTX 5000 Ada 32GB          | 89.87     | 32.67  | OOM        | OOM     |
| 3090 24GB * 2              | 108.07    | 47.15  | 16.29      | OOM     |
| 4090 24GB * 2              | 122.56    | 53.27  | 19.06      | OOM     |
| RTX A6000 48GB             | 102.22    | 40.25  | 14.58      | OOM     |
| RTX 6000 Ada 48GB          | 130.99    | 51.97  | 18.36      | OOM     |
| A40 48GB                   | 88.95     | 33.95  | 12.08      | OOM     |
| L40S 48GB                  | 113.60    | 43.42  | 15.31      | OOM     |
| RTX 4000 Ada 20GB * 4      | 56.14     | 20.58  | 7.33       | OOM     |
| A100 PCIe 80GB             | 138.31    | 54.56  | 22.11      | OOM     |
| A100 SXM 80GB              | 133.38    | 53.18  | 24.33      | OOM     |
| H100 PCIe 80GB             | 144.49    | 67.79  | 25.01      | OOM     |
| 3090 24GB * 4              | 104.94    | 46.40  | 16.89      | OOM     |
| 4090 24GB * 4              | 117.61    | 52.69  | 18.83      | OOM     |
| RTX 5000 Ada 32GB * 4      | 82.73     | 31.94  | 11.45      | OOM     |
| 3090 24GB * 6              | 101.07    | 45.55  | 16.93      | 5.82    |
| 4090 24GB * 8              | 116.13    | 52.12  | 18.76      | 6.45    |
| RTX A6000 48GB * 4         | 93.73     | 38.87  | 14.32      | 4.74    |
| RTX 6000 Ada 48GB * 4      | 118.99    | 50.25  | 17.96      | 6.06    |
| A40 48GB * 4               | 83.79     | 33.28  | 11.91      | 3.98    |
| L40S 48GB * 4              | 105.72    | 42.48  | 14.99      | 5.03    |
| A100 PCIe 80GB * 4         | 117.30    | 51.54  | 22.68      | 7.38    |
| A100 SXM 80GB * 4          | 97.70     | 45.45  | 19.60      | 6.92    |
| H100 PCIe 80GB * 4         | 118.14    | 62.90  | 26.20      | 9.63    |
| M1 7‑Core GPU 8GB          | 9.72      | OOM    | OOM        | OOM     |
| M1 Max 32‑Core GPU 64GB    | 34.49     | 18.43  | 4.09       | OOM     |
| M2 Ultra 76-Core GPU 192GB | 76.28     | 36.25  | 12.13      | 4.71    |
| M3 Max 40‑Core GPU 64GB    | 50.74     | 22.39  | 7.53       | OOM     |

04Анализ оценки промпта (Prompt Eval)

Важным аспектом инференса является скорость предварительной обработки входных данных (prompt evaluation). От этого показателя зависит, как быстро модель начнет выдавать первый токен после получения длинного контекста. Здесь NVIDIA также демонстрирует доминирование, особенно в конфигурациях с несколькими картами.

terminaltext
| GPU                        | 8B Q4_K_M | 8B F16  | 70B Q4_K_M | 70B F16 |
|----------------------------|-----------|---------|------------|---------|
| ... (данные аналогичны генерации, но с акцентом на скорость обработки контекста) ...
| H100 PCIe 80GB             | **144.49**| **67.79**| 25.01      | OOM     |
| M2 Ultra 76-Core GPU 192GB | 76.28     | 36.25   | 12.13      | 4.71    |
💡 Важно: Обратите внимание на колонку "70B F16". Большинство конфигураций, включая мощные M2 Ultra и даже некоторые сборки на RTX 3090/4090, выдают "OOM" (Out Of Memory). Запуск 70-миллиардной модели в полной точности (FP16) требует огромных объемов видеопамяти (более 140 ГБ), что доступно пока только в серверных кластерах (H100 * 4) или специфических конфигурациях с большим количеством карт. Для домашнего использования квантование (Q4_K_M) является обязательным.

05Кому подойдёт

На основе полученных данных можно сделать следующие выводы: