Проблема: FLOPs не учитывают реальность кластера
В индустрии ИИ время GPU — самый дорогой ресурс. Стандартный подход к планированию использует аналитическую формулу: T = (6 · P · D) / (N_GPU · FLOPS_peak · MFU). Однако на практике эта формула дает сбой. Исследователи из Dharma-AI проанализировали 7 382 GPU-часа работы на кластере из 8–32 видеокарт NVIDIA H200. Оказалось, что базовая оценка по FLOPs объясняет лишь 31% вариативности времени выполнения (R² = 0.31), а средняя абсолютная ошибка (MAE) составляет 12,41 часа. То есть, если модель говорит «9 часов», задача может закончиться на следующий день.
Решение: ML-предиктор на CatBoost
Команда разработала регрессионную модель, которая учитывает не только вычислительную нагрузку, но и накладные расходы: загрузку модели, токенизацию, частоту проверок (evals), политику сохранения чекпоинтов и конкуренцию за I/O в многопользовательской среде. Модель обучалась на 272 реальных задачах SFT (Supervised Fine-Tuning) для моделей до 15 млрд параметров (как LoRA, так и полный тюнинг). В качестве финального алгоритма выбран CatBoost, так как он лучше всего улавливает нелинейные зависимости.
Ключевые метрики точности
Сравнение различных подходов показывает колоссальный разрыв между «бумажными» расчетами и реальностью. ML-модель достигает почти идеальной корреляции, снижая ошибку в 7 раз по сравнению с базовым FLOPs-подходом.
| Метод | R² | RMSE (часы) | MAE (часы) |
|---|---|---|---|
| FLOP baseline (MFU 30%) | 0.31 | 20.45 | 12.41 |
| FLOP baseline (MFU 45%) | 0.18 | 22.38 | 13.01 |
| Calculon (аналитическая модель) | -0.51 | 30.40 | 20.36 |
| Linear Regression | 0.69 ± 0.14 | 13.52 ± 4.23 | 7.52 ± 0.49 |
| XGBoost | 0.97 ± 0.01 | 4.18 ± 1.17 | 1.95 ± 0.33 |
| CatBoost (финальная модель) | 0.98 ± 0.01 | 3.52 ± 0.78 | 1.71 ± 0.33 |
Что именно влияет на задержку?
Анализ важности признаков (feature importance) через SHAP-значения выявил главные факторы, которые игнорируются в формулах FLOPs. На первом месте по влиянию на время выполнения стоит num_eval_data — общее количество сэмплов, обработанных во время проверочных циклов. За ним следуют количество обучаемых параметров (num_trainable_params), размер батча при оценке и объем данных для сохранения чекпоинтов. Это подтверждает: в продакшене время часто тратится не на градиентный спуск, а на ввод-вывод и коммуникацию между узлами.
Почему это важно для AI-индустрии
Точное предсказание времени завершения задач (end-to-end duration) позволяет перейти от планирования «на глаз» к оптимизации расписания GPU-кластеров. Это снижает простои оборудования (idle capacity) и ускоряет итерации экспериментов. Модель использует только данные, известные до запуска задачи (гиперпараметры, размер датасета, тип модели), что делает её применимой для систем оркестровки в реальном времени. Полная версия исследования будет опубликована на arXiv.
Источник: Hugging Face blog ↗
