AIKraft Agents
Главная/Блог/Обзор/NVIDIA vs Apple Silicon: Тест LLM на…
Обзор5 мин чтения · 15 ноября 2026 г.

NVIDIA vs Apple Silicon: Тест LLM на токены/с

Сравнение скорости инференса LLaMA 3 на NVIDIA (RTX 4090, H100) и Apple Silicon (M2 Ultra, M3 Max). Реальные цифры токен/с, VRAM и выбор железа для РФ.

NVIDIA vs Apple Silicon: Тест LLM на токены/с

Выбор платформы для локального запуска больших языковых моделей (LLM) — это всегда компромисс между ценой, доступностью и производительностью. Мы проанализировали данные бенчмарков llama.cpp для модели LLaMA 3, сравнив серверные GPU NVIDIA (от RTX 3070 до H100) и мобильные/рабочие чипы Apple Silicon (M1-M3 Max/Ultra). Разница в подходах к памяти и вычислениям здесь видна как никогда ясно.

01Скорость генерации: Токены в секунду

Главный метрик для пользователя — скорость генерации текста (tokens/s). Чем выше число, тем быстрее вы получаете ответ. Тесты проводились на генерации 1024 токенов. Обратите внимание: для моделей 70B в большинстве случаев используется квантование Q4_K_M, так как полный формат F16 не помещается в доступную VRAM даже на мощных картах (отмечено как OOM — Out Of Memory).

Железо VRAM LLaMA 3 8B (Q4_K_M) LLaMA 3 70B (Q4_K_M)
RTX 4090 24GB 24 GB 127.74 OOM
RTX 4090 24GB * 2 48 GB 122.56 19.06
RTX 4090 24GB * 4 96 GB 117.61 18.83
RTX 4090 24GB * 8 192 GB 116.13 18.76
H100 PCIe 80GB 80 GB 144.49 25.01
H100 PCIe 80GB * 4 320 GB 118.14 26.20
M2 Ultra 192GB 192 GB 76.28 12.13
M3 Max 64GB 64 GB 50.74 7.53

Как видно из таблицы, NVIDIA H100 демонстрирует абсолютное лидерство: 144.49 токенов/с для 8B и 25.01 для 70B. Однако Apple M2 Ultra с 192 ГБ унифицированной памяти показывает удивительно достойные результаты (76.28 и 12.13 соответственно), несмотря на то, что шина памяти у Apple значительно уже, чем у NVIDIA.

02Скорость оценки промпта (Prompt Eval)

Второй важный показатель — скорость обработки входного контекста (prompt eval speed). Это критично, если вы работаете с длинными документами или базами знаний (RAG). Здесь разрыв между NVIDIA и Apple становится ещё более очевидным.

Железо LLaMA 3 8B (Q4_K_M) LLaMA 3 70B (Q4_K_M)
RTX 4090 24GB 6898.71 OOM
RTX 4090 24GB * 8 9706.82 1336.26
H100 PCIe 80GB * 4 11560.23 1133.23
M2 Ultra 192GB 1023.89 117.76
M3 Max 64GB 678.04 62.88

RTX 4090 обрабатывает промпт для 8B модели почти в 7 раз быстрее, чем M2 Ultra. Для 70B модели разрыв ещё страшнее: 1336.26 токенов/с против 117.76. Это означает, что для задач, требующих быстрого анализа больших текстов, NVIDIA выигрывает безоговорочно.

03Сборка и настройка llama.cpp

Для получения этих результатов используется библиотека llama.cpp. Процесс сборки различается для NVIDIA и Apple, так как используются разные бэкенды (CUDA и Metal соответственно).

Для NVIDIA GPU требуется сборка с поддержкой BLAS через CUDA:

terminalbash
!make clean && LLAMA_CUBLAS=1 make -j

Для Apple Silicon Metal включен по умолчанию, сборка проще:

terminalbash
!make clean && make -j

При запуске важно правильно указать параметры. Флаг -ngl 10000 гарантирует, что все слои модели будут загружены в память GPU/VRAM. Если вы используете Apple Silicon, обратите внимание на ограничение: только около 70-78% унифицированной памяти доступно для GPU без падения производительности. Для 32GB M1 Max это критично, для M2 Ultra (192GB) — менее критично, но всё же требует контроля.

⚠️
Важно. Ошибка OOM (Out Of Memory) в тестах означает, что модель не поместилась в VRAM. Например, RTX 4090 (24GB) не может запустить LLaMA 3 70B в полном формате F16 или даже Q4_K_M без использования мульти-GPU (нескольких карт) или переноса части вычислений на CPU, что резко снижает скорость.

04Реальность рынка РФ: Что купить или арендовать?

В условиях импортозамещения и санкций покупка топового железа в РФ имеет свои нюансы.

  • NVIDIA RTX 4090: Самая популярная карта для энтузиастов. В РФ её можно купить, но цены варьируются от 150 000 до 250 000+ рублей. Для запуска 70B моделей потребуется минимум 2-4 карты (через NVLink или PCIe), что делает сборку дорогой и сложной в охлаждении.
  • NVIDIA H100/A100: В РФ практически недоступны для покупки физическими лицами. Основной путь — аренда в облаках (RunPod, Vast.ai, локальные провайдеры вроде Selectel или Yandex Cloud, где есть GPU-инстансы). Аренда H100 стоит дорого, но это единственный способ получить скорость 144+ токенов/с для 8B моделей.
  • Apple Mac Studio (M2/M3 Ultra): В РФ можно купить через параллельный импорт. Mac Studio с M2 Ultra (192GB RAM) стоит около 600 000 - 800 000 рублей. Это «золотая середина» для тех, кому нужно запускать 70B-130B модели локально, тихо и с приемлемой скоростью (12-13 токенов/с для 70B). Главное преимущество — огромная память.
💡
Совет. Если ваш бюджет ограничен 200 000 рублей, купите две RTX 4090. Вы получите 48GB VRAM суммарно, что позволит запускать 70B модели с приемлемой скоростью (около 19 токенов/с). Если бюджет 700 000+ рублей и нужна тишина/компактность — берите Mac Studio M2 Ultra. Вы получите 192GB памяти и сможете запускать даже 130B модели (в квантованном виде), albeit медленнее, чем на NVIDIA.

05Какое железо кому подойдёт

Исходя из данных бенчмарков, можно дать следующие рекомендации:

  1. Начинающий энтузиаст (Бюджет до 100 тыс. руб.): RTX 3090/4070 Ti (24GB/12GB). RTX 3090 б/у — лучший выбор для 8B моделей (111 токенов/с). 70B модели не запустятся. Идеально для обучения и тестирования.
  2. Продвинутый пользователь (Бюджет 200-400 тыс. руб.): 2x RTX 4090. Позволяет запускать 70B модели (19 токенов/с генерации). Это рабочий инструмент для большинства задач. Альтернатива — аренда H100 на час, если нужно быстро.
  3. Корпоративный/Профессиональный сегмент (Бюджет 500 тыс. руб. +): Mac Studio M2 Ultra (192GB). Лучший выбор для работы с большими контекстами и моделями 70B-130B локально. Скорость ниже NVIDIA, но память позволяет держать в RAM то, что NVIDIA не влезает без мульти-GPU.
  4. Enterprise/High-Performance (Бюджет не ограничен): 4x H100 или 4x RTX 6000 Ada. Только так можно получить максимальную скорость (26+ токенов/с для 70B) и обработку огромных промптов (1100+ токенов/с). В РФ это реализуется через облачную аренду.

Вывод: NVIDIA выигрывает в скорости, Apple — в ёмкости памяти и энергоэффективности. Выбирайте под задачу: «быстрее» или «больше».

Источник: источник (тест/офиц. документация) ↗