Проблема масштаба: почему один GPU не справится
Современные большие языковые модели (LLM) достигают размеров в сотни миллиардов и даже триллионы параметров. Например, модель с 1 триллионом параметров в точности с плавающей запятой (FP16) требует около 2 ТБ видеопамяти только для хранения весов. Ни одна современная видеокарта, включая NVIDIA H100 с 80 ГБ памяти, не обладает достаточным объемом VRAM для размещения такой модели целиком. Кроме того, даже если бы память была, пропускной способности одной карты не хватило бы для вычислений в реальном времени.
Четыре столпа распределенного инференса
Для решения этой проблемы используется комбинация четырех стратегий параллелизма, которые распределяют вычисления и данные между множеством GPU в кластере:
- Data Parallelism (Параллелизм данных): Модель копируется на каждый GPU. Каждый узел обрабатывает свой батч данных независимо. Это увеличивает пропускную способность (throughput), но не помогает уменьшить задержку (latency) для одного запроса и не решает проблему нехватки памяти для огромных моделей.
- Pipeline Parallelism (Конвейерный параллелизм): Слои модели распределяются последовательно по разным GPU. Один GPU обрабатывает слой 1, следующий — слой 2, и так далее. Это позволяет размещать очень глубокие модели, но может привести к простоям (bubble) в конвейере, если вычислительная нагрузка на слои неравномерна.
- Tensor Parallelism (Тензорный параллелизм): Отрезает отдельные тензоры (матрицы весов) внутри одного слоя и распределяет их по GPU. Например, матрица умножения разбивается на части. Это требует высокой скорости связи между GPU (например, NVLink), так как узлы должны синхронизироваться после каждого шага вычисления в слое. Это ключевой метод для размещения огромных моделей на ограниченной памяти.
- Expert Parallelism (Параллелизм экспертов): Используется в моделях с архитектурой MoE (Mixture of Experts). Разные "эксперты" (подсети внутри слоя) распределяются по разным GPU. При инференсе активизируется только небольшая часть экспертов для каждого токена, что делает этот метод очень эффективным для экономии вычислений и памяти.
Сравнение подходов к распределению
Выбор стратегии зависит от размера модели, архитектуры и доступной инфраструктуры. Ниже приведена сводная таблица характеристик:
| Тип параллелизма | Что распределяется | Основная цель | Требования к связи |
|---|---|---|---|
| Data Parallelism | Копия всей модели | Увеличение пропускной способности (batch size) | Низкие (синхронизация градиентов/активаций раз в шаг) |
| Pipeline Parallelism | Слои модели | Размещение глубоких моделей | Средние (передача активаций между слоями) |
| Tensor Parallelism | Тензоры внутри слоя | Размещение широких моделей, снижение задержки | Очень высокие (NVLink/InfiniBand, синхронизация в каждом шаге) |
| Expert Parallelism | Подсети (эксперты) в MoE | Эффективность вычислений для sparse-моделей | Высокие (динамическая маршрутизация запросов) |
Почему это важно для индустрии
Понимание этих механизмов критично для разработчиков AI-приложений. Инференс (генерация ответов) требует других оптимизаций, чем тренировка. Например, при инференсе важнее минимизировать задержку (latency) для пользователя, чем максимизировать общую пропускную способность. Комбинация Tensor Parallelism для размещения модели и Expert Parallelism для эффективной обработки запросов в MoE-архитектурах становится стандартом для запуска самых передовых моделей в продакшене. Без этих техник современные чат-боты и AI-ассистенты были бы просто невозможны.
Источник: Towards AI pub ↗