Выбор железа для локального запуска больших языковых моделей (LLM) — это всегда компромисс между бюджетом, доступностью в РФ и требуемой производительностью. Мы проанализировали данные бенчмарков для модели LLaMA 3, запущенной через llama.cpp, чтобы понять, где лучше работать: на мощных серверных GPU NVIDIA или на унифицированной памяти Apple Silicon.
01Скорость генерации токенов (tokens/s)
Главный показатель для пользователя — скорость генерации текста. В тестах использовалась модель LLaMA 3 с квантованием Q4_K_M (оптимальный баланс качества и скорости) и полным форматом F16. Тестировалась генерация 1024 токенов.
Однокарточные решения (Single GPU)
Если вы используете одну видеокарту, лидерство принадлежит флагманам NVIDIA. Однако Apple M2 Ultra демонстрирует удивительную эффективность для своего класса.
| Железо | VRAM | LLaMA 3 8B Q4_K_M (ток/с) | LLaMA 3 70B Q4_K_M (ток/с) |
|---|---|---|---|
| RTX 4090 | 24 GB | 127.74 | OOM |
| RTX 6000 Ada | 48 GB | 130.99 | 18.36 |
| A100 PCIe | 80 GB | 138.31 | 22.11 |
| H100 PCIe | 80 GB | 144.49 | 25.01 |
| M2 Ultra | 192 GB | 76.28 | 12.13 |
| M3 Max | 64 GB | 50.74 | 7.53 |
Как видно, RTX 4090 и H100 показывают схожую скорость для 8B моделей (~127-144 ток/с). Но для 70B моделей 4090 не справляется из-за нехватки памяти, тогда как H100 и A100 генерируют текст со скоростью 22-25 токенов в секунду. M2 Ultra, несмотря на 192 ГБ памяти, уступает NVIDIA в чистой скорости генерации (12.13 ток/с против 22+), что связано с архитектурой пропускной способности памяти.
Скорость оценки промпта (Prompt Eval)
Этот показатель важен для скорости «подогрева» (prefill) — чем он выше, тем быстрее модель начинает отвечать на длинный запрос. Здесь NVIDIA демонстрирует подавляющее преимущество.
| Железо | LLaMA 3 8B Q4_K_M (ток/с) | LLaMA 3 70B Q4_K_M (ток/с) |
|---|---|---|
| RTX 4090 | 6898.71 | OOM |
| H100 PCIe | 7760.16 | 984.06 |
| M2 Ultra | 1023.89 | 117.76 |
| M3 Max | 678.04 | 62.88 |
RTX 4090 обрабатывает промпт для 8B модели почти в 7 раз быстрее, чем M3 Max. Для 70B моделей H100 обрабатывает промпт в 8-10 раз быстрее, чем M2 Ultra.
02Мультикартовые конфигурации
Когда одной карты мало, мы объединяем их. Данные показывают, что масштабирование на NVIDIA работает линейно лучше, чем на Apple.
- 4x RTX 4090 (96GB VRAM total): 117.61 ток/с для 8B Q4, 18.83 ток/с для 70B Q4.
- 4x H100 (320GB VRAM total): 118.14 ток/с для 8B Q4, 26.20 ток/с для 70B Q4.
- M2 Ultra (192GB): 76.28 ток/с для 8B, 12.13 ток/с для 70B.
Интересный момент: 4x RTX 4090 по скорости генерации 8B моделей (117.61) почти не уступают 4x H100 (118.14), но стоят в разы дешевле. Однако для 70B моделей H100 вырывается вперёд (26.20 против 18.83), обеспечивая более плавный диалог.
03Сборка и запуск llama.cpp
Для получения максимальной производительности необходимо правильно собрать llama.cpp под ваше железо. Ошибки в флагах сборки могут снизить скорость в разы.
Для NVIDIA GPU: Обязательно используйте BLAS-ускорение через CUDA.
!make clean && LLAMA_CUBLAS=1 make -jДля Apple Silicon: Metal включён по умолчанию, но важно следить за лимитами памяти.
!make clean && make -jПри запуске на Apple Silicon обратите внимание на параметр recommendedMaxWorkingSetSize. На M1 Max с 32 ГБ памяти только ~70% доступно для GPU, чтобы сохранить производительность. На более новых чипах этот лимит составляет около 78%. Если вы хотите использовать всю память, можно отключить GPU-ускорение (-ngl 0), но это резко снизит скорость.
Для загрузки всех слоёв модели на GPU используйте флаг -ngl 10000.
04Какое железо кому подойдёт
Бюджетный энтузиаст (до 150-200 тыс. руб.)
RTX 4090 (24GB). Лучшая карта для 8B-13B моделей. Скорость генерации ~127 ток/с. Для 70B моделей не подходит (OOM). В РФ купить можно, но по завышенным ценам. Альтернатива: 2x RTX 3090 (б/у), чтобы запустить 70B Q4.
Профессионал / Small Business (200-500 тыс. руб.)
RTX 6000 Ada (48GB) или A6000. Позволяют запускать 70B модели в Q4 с приемлемой скоростью (~18 ток/с). 48 ГБ VRAM — это «золотая середина» для одной карты. В РФ эти карты сложно найти официально, проще арендовать на RunPod/Vast.ai.
Корпоративный уровень / Серверы (от 1 млн руб. и выше)
H100 / A100 (80GB). Единственный способ комфортно работать с 70B+ моделями в полном精度 или с длинными контекстами. H100 показывает рекордные 26.20 ток/с для 70B Q4. В РФ доступны только через облачные провайдеры (Yandex Cloud, Selectel, VK Cloud) или специализированные хостинги GPU.
MacBook Pro (M2/M3 Max/Ultra)
Универсальность, но не скорость. M2 Ultra (192GB) позволяет запустить огромные модели (100B+), которые не влезут ни в одну потребительскую видеокарту. Однако скорость генерации (12-14 ток/с для 70B) будет ниже, чем у RTX 4090 для 8B моделей. Выбирайте Mac, если вам важна мобильность и возможность запускать очень большие модели, а не гнаться за скоростью ответа.
Итог: Для скорости — NVIDIA RTX 4090/4000 Ada. Для объёма памяти на одном устройстве — Apple M2/M3 Ultra. Для серьёзного продакшена — облачные H100/A100.
Источник: источник (тест/офиц. документация) ↗