AIKraft Agents
Главная/Блог/Обзор/NVIDIA vs Apple Silicon: честный тест…
Обзор4 мин чтения · 17 октября 2026 г.

NVIDIA vs Apple Silicon: честный тест LLM в токенах/с

Сравниваем скорость инференса LLaMA 3 на RTX 4090, H100 и Apple M2 Ultra. Реальные цифры VRAM, токен/с и команды сборки llama.cpp для выбора железа.

Выбор платформы для локального запуска больших языковых моделей (LLM) часто сводится к спору: «купить видеокарту NVIDIA» или «взять MacBook Pro». Тесты на базе llama.cpp с моделями LLaMA 3 показывают, что ответ зависит от размера модели и доступного VRAM. Ниже — разбор реальных данных по скорости генерации (tokens/s) и оценке текста (prompt eval) для конфигураций от бюджетных RTX 3070 до серверных H100 и Apple M2 Ultra.

01Скорость генерации: кто быстрее печатает?

Основной метрикой для пользователя является скорость генерации токенов. Чем выше число, тем быстрее модель отвечает. В тестах использовалась квантованная модель 8B Q4_K_M и 70B Q4_K_M.

Для моделей среднего размера (8B) лидером среди потребительских GPU стала RTX 4090 (24GB), показавшая выдающуюся скорость. Для сравнения, Apple M2 Ultra (192GB Unified Memory) показал результат заметно ниже, а M3 Max (64GB) — еще медленнее. Однако, как только мы переходим к моделям 70B, ситуация меняется кардинально из-за ограничений памяти.

Одиночные GPU с VRAM менее 48GB (включая RTX 4090, 3090, M3 Max) не смогли запустить модель 70B Q4_K_M (OOM — Out Of Memory). Только видеокарты с большим объемом памяти (A6000, A100, H100, RTX 6000 Ada) или мульти-GPU конфигурации смогли справиться с задачей. Абсолютным чемпионом по скорости генерации 70B стала связка 4x H100 PCIe 80GB.

Железо Модель Токен/с (Gen) VRAM
RTX 4090 24GB 8B Q4_K_M 127.74 ~6-7 GB
Apple M2 Ultra 192GB 8B Q4_K_M 76.28 ~10 GB
H100 PCIe 80GB 70B Q4_K_M 25.01 ~40-45 GB
4x H100 PCIe 80GB 70B Q4_K_M 26.20 ~40-45 GB (на карту)

02Скорость обработки контекста (Prompt Eval)

Если вам важно, как быстро модель «прочитает» длинный документ перед ответом, смотрите на метрику prompt eval speed. Здесь Apple Silicon выглядит гораздо конкурентоспособнее благодаря высокой пропускной способности памяти (Memory Bandwidth).

Apple M2 Ultra (192GB) обрабатывает префил 8B модели с высокой скоростью, что сопоставимо с RTX 4090. Однако для 70B моделей M2 Ultra показал приемлемый результат, в то время как RTX 4090 (даже в одиночку) не смогла запустить модель вовсе (OOM). Только конфигурации с большим VRAM или мульти-GPU смогли обработать 70B в префиле.

⚠️
Важно. Для Apple Silicon важно учитывать ограничение на выделение памяти. На M1 Max 32GB можно использовать только ~70% памяти для GPU, на более новых чипах — около 78%. Если вы видите падение производительности, проверьте recommendedMaxWorkingSetSize в логах llama.cpp.

03Как собрать и запустить

Все тесты проводились через llama.cpp. Команды сборки и запуска критически важны для корректной работы на разных платформах.

Для NVIDIA GPU необходимо включить поддержку CUDA:

terminalbash
!make clean && LLAMA_CUBLAS=1 make -j

Для Apple Silicon Metal включен по умолчанию:

terminalbash
!make clean && make -j

Для принудительной загрузки всех слоев модели на GPU (важно для максимальной скорости) используйте флаг -ngl 10000. Если вы хотите использовать только CPU, укажите -ngl 0.

terminalbash
!./main -ngl 10000 -m ./models/8B-v3/ggml-model-Q4_K_M.gguf --color --temp 1.1 --repeat_penalty 1.1 -c 0 -n 1024 -e -s 0 -p """\
💡
Совет. Для моделей 70B и выше на потребительских картах (24GB VRAM) рассмотрите использование мульти-GPU конфигураций (например, 2x RTX 3090/4090). Данные показывают, что 2x RTX 4090 дают высокую скорость для 8B и приемлемую для 70B, что часто выгоднее покупки серверного оборудования.

04Какое железо кому подойдёт

Исходя из данных, можно выделить три четких сегмента:

  1. Бюджетный/Начинающий (8B модели): RTX 4090 (24GB) или RTX 3090 (24GB). Это лучшие соотношения цена/производительность для локального инференса. M1/M2 MacBook Air/Pro подходят только для очень легких моделей или обучения, так как скорость генерации значительно ниже, чем у NVIDIA.
  2. Продвинутый/Мульти-GPU (70B модели): Если вам нужна модель 70B, одиночная RTX 4090 не справится. Оптимальный путь — 2x RTX 3090/4090 (б/у рынок) или RTX 6000 Ada (48GB) для одиночной карты. Apple M2 Ultra (192GB) — отличная альтернатива для тех, кто хочет тишины и одного устройства, но скорость будет заметно ниже, чем у мульти-GPU NVIDIA.
  3. Корпоративный/Серверный: H100 (80GB) и A100 (80GB). Если бюджет позволяет арендовать или купить сервер, H100 показывает максимальные скорости. В РФ аренда таких ресурсов доступна через платформы вроде RunPod (через посредников) или локальные облачные провайдеры, но цена будет высокой. Для локальной установки в РФ чаще доступны RTX 4090 и б/у A100/A6000.

Итог: Для 8B моделей берите NVIDIA. Для 70B моделей с ограниченным бюджетом — связку из двух 24GB карт. Для максимального удобства и достаточной скорости генерации больших моделей рассмотрите Apple M2 Ultra или серверные решения.

Источник: источник (тест/офиц. документация) ↗