NVIDIA vs Apple Silicon: кто быстрее генерирует LLM?

Выбор платформы для локального запуска больших языковых моделей (LLM) часто сводится к дилемме: мощные, но дорогие GPU NVIDIA или энергоэффективные чипы Apple Silicon. Мы проанализировали данные бенчмарков для модели LLaMA 3, запущенной через llama.cpp, чтобы понять, где вы получите максимум токенов в секунду (tok/s) при минимальных затратах.

01Скорость генерации (Inference Speed)

Ключевой метрикой для пользователя является скорость генерации текста. В тестах измерялось среднее количество токенов, сгенерированных за секунду при создании 1024 токенов. Ниже приведены данные для квантованных (Q4_K_M) и полноразрядных (F16) моделей.

Одиночные GPU: NVIDIA против Apple

Даже начальный уровень NVIDIA (RTX 3070) значительно опережает базовые решения Apple. Однако флагманские чипы M-серии демонстрируют удивительную эффективность для своего класса.

Как видно, RTX 4090 (24 GB) генерирует текст в 3-4 раза быстрее M1 Max и почти в 2 раза быстрее M2 Ultra для моделей 8B. Для моделей 70B RTX 4090 не справляется (OOM — Out Of Memory), тогда как M2 Ultra и H100 работают стабильно.

Мног GPU конфигурации

Для моделей 70B и 8B в F16 требуется много VRAM. Здесь в игру вступают конфигурации с несколькими картами. Данные показывают, что связка из 8x RTX 4090 обеспечивает скорость 18.76 tok/s для 70B Q4, что сопоставимо с одной H100 (25.01 tok/s), но требует сложной настройки.

02Скорость оценки промпта (Prompt Eval)

Скорость обработки входного текста (prompt eval) критична для приложений с длинными контекстами. Здесь NVIDIA демонстрирует абсолютное доминирование.

RTX 4090 обрабатывает промпт для 8B модели почти в 7 раз быстрее M2 Ultra. Для 70B модели M2 Ultra показывает 117.76 tok/s, тогда как RTX 4090 не справляется из-за нехватки памяти.

03Сборка и запуск llama.cpp

Для получения этих результатов необходимо правильно собрать llama.cpp с поддержкой соответствующих аппаратных ускорителей.

Для NVIDIA GPU используется CUDA:

!make clean && LLAMA_CUBLAS=1 make -j

Для Apple Silicon используется Metal (включен по умолчанию):

!make clean && make -j

При запуске важно правильно указать параметры. Флаг -ngl 10000 гарантирует, что все слои модели будут загружены в GPU/VRAM. Для Apple Silicon есть нюанс: только 70-78% унифицированной памяти доступно для GPU без потери производительности. Если вы видите падение скорости, попробуйте -ngl 0 для использования CPU, хотя это замедлит процесс.

04Какое железо кому подойдёт

Выбор зависит от бюджета и задач. В России купить новые H100/A100 сложно, но можно арендовать на площадках вроде RunPod. Локально доступны RTX 3090/4090 и Mac Studio.

• Бюджетный старт (до 100 тыс. руб.): RTX 3070/3080. Подходят только для моделей 7B-13B в квантовании. Быстрый инференс, но нет места для больших моделей.
• Оптимальный баланс (150-250 тыс. руб.): RTX 4090 (24GB). Лучшая скорость для 8B моделей. Для 70B нужно либо квантовать до Q3 (потеря качества), либо использовать облако.
• Профессиональный локальный сервер (300-500 тыс. руб.): RTX 6000 Ada (48GB) или б/у RTX A6000. Позволяют запускать 70B Q4 локально с приемлемой скоростью (~14-18 tok/s). Альтернатива — Mac Studio M2 Ultra (192GB), который медленнее NVIDIA в токенах/с, но позволяет запускать огромные модели (120B+) и имеет низкое энергопотребление.
• Корпоративный уровень/Облако: H100/A100. Необходимы для F16 моделей 70B и высокой пропускной способности. В РФ чаще арендуются, чем покупаются.

Итог: Для максимальной скорости генерации берите NVIDIA RTX 4090. Для запуска самых больших моделей (70B+) без покупки кластера карт — Mac M2 Ultra. Для продакшена — облачные H100.

Источник: источник (тест/офиц. документация) ↗