AIKraft Agents
Главная/Блог/Обзор/NVIDIA vs Apple Silicon: Тест скорости…
Обзор5 мин чтения · 23 октября 2026 г.

NVIDIA vs Apple Silicon: Тест скорости LLM (LLaMA 3)

Сравнение инференса LLaMA 3 на NVIDIA (RTX 4090, H100) и Apple Silicon (M2 Ultra). Реальные цифры токенов/с, VRAM и выбор железа для РФ.

Выбор платформы для локального запуска больших языковых моделей (LLM) — это всегда компромисс между скоростью генерации, объемом памяти и доступностью. Мы проанализировали данные бенчмарков llama.cpp для модели LLaMA 3, чтобы понять, где лучше работать: на мощных серверных GPU NVIDIA или на унифицированной памяти Apple Silicon. Ниже — сухие цифры, выводы и практические рекомендации для российских пользователей.

01Скорость генерации: Токены в секунду

Главный показатель для пользователя — скорость генерации текста (tokens/s). Чем выше число, тем быстрее вы получаете ответ. Тестирование проводилось на генерации 1024 токенов.

В сегменте потребительских решений безоговорочным лидером является RTX 4090 (24GB). Она выдает 127.74 токена/с для модели 8B в квантовании Q4_K_M. Для сравнения, даже топовый MacBook Pro на M3 Max (64GB) показывает лишь 50.74 токена/с на той же модели. Разница более чем в 2.5 раза.

Однако, если речь идет о больших моделях (70B), ситуация меняется. RTX 4090 с 24GB VRAM физически не может загрузить модель 70B в полном объеме (OOM — Out Of Memory). Здесь в игру вступают решения с большим объемом памяти:

  • RTX 6000 Ada (48GB): 18.36 токена/с для 70B Q4_K_M.
  • M2 Ultra (192GB): 12.13 токена/с для 70B Q4_K_M.
  • A100 SXM 80GB: 24.33 токена/с для 70B Q4_K_M.

Как видно, серверный A100 работает быстрее, чем Apple M2 Ultra, несмотря на то, что M2 Ultra обладает огромным объемом памяти. Это связано с архитектурой: NVIDIA GPU имеют более высокую пропускную способность памяти для вычислений, тогда как Apple Silicon ограничен шиной HBM/Unified Memory.

02Таблица производительности (Генерация)

Ниже приведены ключевые данные по скорости генерации (tokens/s) для наиболее релевантных конфигураций. Обратите внимание на колонку 70B Q4_K_M — это стандарт де-факто для баланса качества и скорости.

Железо VRAM LLaMA 3 8B (Q4_K_M) LLaMA 3 70B (Q4_K_M)
RTX 4090 24GB 127.74 OOM
RTX 6000 Ada 48GB 130.99 18.36
A100 SXM 80GB 80GB 133.38 24.33
H100 PCIe 80GB 80GB 144.49 25.01
M2 Ultra 192GB 76.28 12.13
M3 Max 64GB 50.74 7.53

Для оценки контекста (prompt eval speed) цифры значительно выше. Например, RTX 4090 обрабатывает ввод для 8B модели со скоростью 6898.71 токенов/с, а M2 Ultra — всего 1023.89 токенов/с. Это критично для длинных документов: NVIDIA справится с загрузкой контекста в разы быстрее.

03Сборка и запуск llama.cpp

Для получения этих результатов используется библиотека llama.cpp. Процесс сборки прост, но требует указания правильного флага для вашего железа. Для NVIDIA обязательно нужен CUDA, для Apple — Metal (включен по умолчанию).

Сборка для NVIDIA GPU:

terminalbash
!make clean && LLAMA_CUBLAS=1 make -j

Сборка для Apple Silicon:

terminalbash
!make clean && make -j

Запуск инференса с полной загрузкой слоев на GPU (для NVIDIA и Apple) осуществляется флагом -ngl 10000. Это гарантирует, что модель не будет частично выгружаться на CPU, что резко снижает скорость.

⚠️
Важно. На Apple Silicon (M1 Max 32GB) доступно только ~70% унифицированной памяти для GPU. На более новых чипах (M2/M3 Ultra) этот лимит составляет около 78%. Если вы видите падение производительности, проверьте, не уперлись ли вы в этот лимит. Для использования всей памяти можно попробовать запуск через CPU (-ngl 0), но это убьет скорость.

04Что реально купить или арендовать в РФ

В условиях санкций прямые поставки серверного оборудования (A100, H100, RTX 6000 Ada) в Россию затруднены или возможны только через параллельный импорт по завышенным ценам. Однако есть альтернативы:

  1. RTX 4090 (24GB): Самая доступная мощная карта. Ее можно купить в РФ. Для моделей 7B-13B она идеальна. Для 70B придется использовать квантование Q2/Q3 или искать решения с несколькими картами (но это сложно в настройке).
  2. RTX 3090 (24GB): Б/у рынок предлагает их дешевле. Производительность чуть ниже 4090 (111.74 vs 127.74 токенов/с для 8B), но объем памяти тот же. Отличный бюджетный вариант для 24GB VRAM.
  3. Аренда GPU (RunPod/Vast.ai): Если вам нужна скорость H100 или A100 для редких задач, выгоднее арендовать облако. H100 PCIe выдает 144.49 токенов/с для 8B и 25.01 для 70B. В РФ цены на аренду могут варьироваться, но это единственный способ получить доступ к 80GB+ VRAM без покупки железа за $10k+.
💡
Совет. Если вы работаете с моделями 70B+, не гонитесь за скоростью NVIDIA, если у вас нет бюджета на A100/H100. M2 Ultra с 192GB памяти позволяет запустить 70B модель с запасом, albeit медленнее. Для локального продакшена на Mac это часто единственное решение «из коробки» без настройки распределенного инференса.

05Какое железо кому подойдёт

Исходя из тестов, вот честные рекомендации:

  • Бюджетный энтузиаст (до 150-200 тыс. руб.): Берите RTX 4090 (24GB) или б/у RTX 3090 (24GB). Это лучший баланс цены и скорости для моделей 7B-13B. Для 70B моделей придется сильно квантовать или использовать CPU-оффлоудинг, что медленно.
  • Профессионал/Исследователь (бюджет не ограничен, есть доступ к РФ-железу): RTX 6000 Ada (48GB) или A6000 (48GB). Они позволяют запускать 70B модели с приемлемой скоростью (14-18 токенов/с) и имеют достаточно VRAM для длинных контекстов. В РФ их можно найти через импортеров.
  • Максималист с Mac: M2 Ultra (192GB). Если вам нужно запускать огромные модели (100B+) или работать с очень длинными контекстами, и вы не хотите настраивать кластеры из NVIDIA GPU. Скорость будет ниже, чем у NVIDIA, но объем памяти — рекордный.
  • Облачный инференс: Если вам нужна максимальная скорость (H100) для 70B+ моделей, арендуйте инстансы. H100 PCIe дает 25.01 токенов/с для 70B, что в 2 раза быстрее M2 Ultra.

Вывод: NVIDIA доминирует в скорости, Apple — в объеме памяти на один чип. Для большинства задач в РФ оптимальна связка RTX 4090/3090 для легких моделей и аренда облака для тяжелых.

Источник: источник (тест/офиц. документация) ↗