Проблема единой метрики пропускной способности
Инференс больших языковых моделей (LLM) превратился в критически важную операционную нагрузку, где операторы должны гарантировать соблюдение SLA по задержке. Традиционный подход, опирающийся на единую метрику пропускной способности (throughput), неэффективен. Генеративный инференс объединяет две фазы с разными характеристиками обслуживания: префилл (prefill) и декодирование (decode). Использование непрерывного батчинга (continuous batching) меняет процесс обслуживания, а видимые пользователю хвостовые задержки (tail latency) могут деградировать задолго до насыщения агрегатной пропускной способности.
Архитектура GAUSS: Аналитика + Монте-Карло
GAUSS (Workload-Aware Analytical and Monte-Carlo Simulator) решает эту проблему, объединяя калиброванные, специфичные для фазы, поверхности задержек для префилла и декодирования с моделью очередей на основе рекуррентного соотношения Линдли (Lindley-recurrence). Вместо воспроизведения одной единственной трассы (trace-driven simulation), GAUSS использует ансамблевую выборку Монте-Карло. Это позволяет моделировать стохастические arrivals (поступления запросов) и точно оценивать производительность.
Ключевые возможности и преимущества
Методология GAUSS позволяет операторам:
- Предсказывать полные распределения времени до первого токена (TTFT) и времени между токенами (TBT).
- Оценивать устойчивую скорость запросов для заданного рабочего набора, движка и ускорителя.
- Анализировать сценарии, которые еще не были развернуты в продакшене, так как модель не ограничена историческими данными трасс.
- Улавливать хвосты распределения задержек, которые систематически недооцениваются симуляторами, основанными на трассах.
Практическое применение
Исследование демонстрирует, что GAUSS поддерживает выбор оптимальных точек работы (operating-point selection), сегментацию трафика и анализ емкости для политик планирования, таких как Shortest-Remaining-Processing-Time (SRPT). Эти задачи, требующие глубокого понимания статистических распределений, остаются недоступными для традиционных trace-driven симуляторов.
| Характеристика | GAUSS (Гибридный подход) | Trace-driven симуляторы |
|---|---|---|
| Метод оценки | Аналитический + Монте-Карло | Воспроизведение фиксированной трассы |
| Обработка стохастики | Моделирование случайных поступлений | Ограничена записанным логами трафиком |
| Оценка хвостовых задержек | Высокая точность (ensemble sampling) | Систематическое недооценивание |
| Прогноз для новых сценариев | Возможен (generalizable) | Требует новых трасс |
Работа опубликована 27 октября 2026 года в arXiv (cs.AI) группой исследователей во главе с Srikant Bharadwaj, Ankur Mallick и Spyridon Mastorakis.
Источник: arXiv cs.AI ↗