Выбор платформы для локального запуска больших языковых моделей (LLM) — это всегда компромисс между скоростью генерации, объемом памяти и доступностью. Мы проанализировали данные бенчмарков llama.cpp для модели LLaMA 3, чтобы понять, где лучше работать: на мощных серверных GPU NVIDIA или на унифицированной памяти Apple Silicon. Ниже — сухие цифры, выводы и практические рекомендации для российских пользователей.
01Скорость генерации: Токены в секунду
Главный показатель для пользователя — скорость генерации текста (tokens/s). Чем выше число, тем быстрее вы получаете ответ. Тестирование проводилось на генерации 1024 токенов.
В сегменте потребительских решений безоговорочным лидером является RTX 4090 (24GB). Она выдает 127.74 токена/с для модели 8B в квантовании Q4_K_M. Для сравнения, даже топовый MacBook Pro на M3 Max (64GB) показывает лишь 50.74 токена/с на той же модели. Разница более чем в 2.5 раза.
Однако, если речь идет о больших моделях (70B), ситуация меняется. RTX 4090 с 24GB VRAM физически не может загрузить модель 70B в полном объеме (OOM — Out Of Memory). Здесь в игру вступают решения с большим объемом памяти:
- RTX 6000 Ada (48GB): 18.36 токена/с для 70B Q4_K_M.
- M2 Ultra (192GB): 12.13 токена/с для 70B Q4_K_M.
- A100 SXM 80GB: 24.33 токена/с для 70B Q4_K_M.
Как видно, серверный A100 работает быстрее, чем Apple M2 Ultra, несмотря на то, что M2 Ultra обладает огромным объемом памяти. Это связано с архитектурой: NVIDIA GPU имеют более высокую пропускную способность памяти для вычислений, тогда как Apple Silicon ограничен шиной HBM/Unified Memory.
02Таблица производительности (Генерация)
Ниже приведены ключевые данные по скорости генерации (tokens/s) для наиболее релевантных конфигураций. Обратите внимание на колонку 70B Q4_K_M — это стандарт де-факто для баланса качества и скорости.
| Железо | VRAM | LLaMA 3 8B (Q4_K_M) | LLaMA 3 70B (Q4_K_M) |
|---|---|---|---|
| RTX 4090 | 24GB | 127.74 | OOM |
| RTX 6000 Ada | 48GB | 130.99 | 18.36 |
| A100 SXM 80GB | 80GB | 133.38 | 24.33 |
| H100 PCIe 80GB | 80GB | 144.49 | 25.01 |
| M2 Ultra | 192GB | 76.28 | 12.13 |
| M3 Max | 64GB | 50.74 | 7.53 |
Для оценки контекста (prompt eval speed) цифры значительно выше. Например, RTX 4090 обрабатывает ввод для 8B модели со скоростью 6898.71 токенов/с, а M2 Ultra — всего 1023.89 токенов/с. Это критично для длинных документов: NVIDIA справится с загрузкой контекста в разы быстрее.
03Сборка и запуск llama.cpp
Для получения этих результатов используется библиотека llama.cpp. Процесс сборки прост, но требует указания правильного флага для вашего железа. Для NVIDIA обязательно нужен CUDA, для Apple — Metal (включен по умолчанию).
Сборка для NVIDIA GPU:
!make clean && LLAMA_CUBLAS=1 make -jСборка для Apple Silicon:
!make clean && make -jЗапуск инференса с полной загрузкой слоев на GPU (для NVIDIA и Apple) осуществляется флагом -ngl 10000. Это гарантирует, что модель не будет частично выгружаться на CPU, что резко снижает скорость.
-ngl 0), но это убьет скорость.04Что реально купить или арендовать в РФ
В условиях санкций прямые поставки серверного оборудования (A100, H100, RTX 6000 Ada) в Россию затруднены или возможны только через параллельный импорт по завышенным ценам. Однако есть альтернативы:
- RTX 4090 (24GB): Самая доступная мощная карта. Ее можно купить в РФ. Для моделей 7B-13B она идеальна. Для 70B придется использовать квантование Q2/Q3 или искать решения с несколькими картами (но это сложно в настройке).
- RTX 3090 (24GB): Б/у рынок предлагает их дешевле. Производительность чуть ниже 4090 (111.74 vs 127.74 токенов/с для 8B), но объем памяти тот же. Отличный бюджетный вариант для 24GB VRAM.
- Аренда GPU (RunPod/Vast.ai): Если вам нужна скорость H100 или A100 для редких задач, выгоднее арендовать облако. H100 PCIe выдает 144.49 токенов/с для 8B и 25.01 для 70B. В РФ цены на аренду могут варьироваться, но это единственный способ получить доступ к 80GB+ VRAM без покупки железа за $10k+.
05Какое железо кому подойдёт
Исходя из тестов, вот честные рекомендации:
- Бюджетный энтузиаст (до 150-200 тыс. руб.): Берите RTX 4090 (24GB) или б/у RTX 3090 (24GB). Это лучший баланс цены и скорости для моделей 7B-13B. Для 70B моделей придется сильно квантовать или использовать CPU-оффлоудинг, что медленно.
- Профессионал/Исследователь (бюджет не ограничен, есть доступ к РФ-железу): RTX 6000 Ada (48GB) или A6000 (48GB). Они позволяют запускать 70B модели с приемлемой скоростью (14-18 токенов/с) и имеют достаточно VRAM для длинных контекстов. В РФ их можно найти через импортеров.
- Максималист с Mac: M2 Ultra (192GB). Если вам нужно запускать огромные модели (100B+) или работать с очень длинными контекстами, и вы не хотите настраивать кластеры из NVIDIA GPU. Скорость будет ниже, чем у NVIDIA, но объем памяти — рекордный.
- Облачный инференс: Если вам нужна максимальная скорость (H100) для 70B+ моделей, арендуйте инстансы. H100 PCIe дает 25.01 токенов/с для 70B, что в 2 раза быстрее M2 Ultra.
Вывод: NVIDIA доминирует в скорости, Apple — в объеме памяти на один чип. Для большинства задач в РФ оптимальна связка RTX 4090/3090 для легких моделей и аренда облака для тяжелых.
Источник: источник (тест/офиц. документация) ↗