AIKraft Agents
Инструменты18 ноября 2026 г., 22:17 МСК🤖 Auto

Почему дофайн-тюнинг занимает больше времени, чем говорят FLOPs

Исследователи Dharma-AI проанализировали 272 реальных запуска на NVIDIA H200 и показали, что классические формулы расчета FLOPs ошибаются в среднем на 12 часов. Новый ML-модель предсказывает время с ошибкой менее 2 часов.

Баннер новости 12226

Проблема: FLOPs не учитывают реальность кластера

В индустрии ИИ время GPU — самый дорогой ресурс. Стандартный подход к планированию использует аналитическую формулу: T = (6 · P · D) / (N_GPU · FLOPS_peak · MFU). Однако на практике эта формула дает сбой. Исследователи из Dharma-AI проанализировали 7 382 GPU-часа работы на кластере из 8–32 видеокарт NVIDIA H200. Оказалось, что базовая оценка по FLOPs объясняет лишь 31% вариативности времени выполнения (R² = 0.31), а средняя абсолютная ошибка (MAE) составляет 12,41 часа. То есть, если модель говорит «9 часов», задача может закончиться на следующий день.

Решение: ML-предиктор на CatBoost

Команда разработала регрессионную модель, которая учитывает не только вычислительную нагрузку, но и накладные расходы: загрузку модели, токенизацию, частоту проверок (evals), политику сохранения чекпоинтов и конкуренцию за I/O в многопользовательской среде. Модель обучалась на 272 реальных задачах SFT (Supervised Fine-Tuning) для моделей до 15 млрд параметров (как LoRA, так и полный тюнинг). В качестве финального алгоритма выбран CatBoost, так как он лучше всего улавливает нелинейные зависимости.

Ключевые метрики точности

Сравнение различных подходов показывает колоссальный разрыв между «бумажными» расчетами и реальностью. ML-модель достигает почти идеальной корреляции, снижая ошибку в 7 раз по сравнению с базовым FLOPs-подходом.

Метод R² RMSE (часы) MAE (часы)
FLOP baseline (MFU 30%) 0.31 20.45 12.41
FLOP baseline (MFU 45%) 0.18 22.38 13.01
Calculon (аналитическая модель) -0.51 30.40 20.36
Linear Regression 0.69 ± 0.14 13.52 ± 4.23 7.52 ± 0.49
XGBoost 0.97 ± 0.01 4.18 ± 1.17 1.95 ± 0.33
CatBoost (финальная модель) 0.98 ± 0.01 3.52 ± 0.78 1.71 ± 0.33

Что именно влияет на задержку?

Анализ важности признаков (feature importance) через SHAP-значения выявил главные факторы, которые игнорируются в формулах FLOPs. На первом месте по влиянию на время выполнения стоит num_eval_data — общее количество сэмплов, обработанных во время проверочных циклов. За ним следуют количество обучаемых параметров (num_trainable_params), размер батча при оценке и объем данных для сохранения чекпоинтов. Это подтверждает: в продакшене время часто тратится не на градиентный спуск, а на ввод-вывод и коммуникацию между узлами.

Почему это важно для AI-индустрии

Точное предсказание времени завершения задач (end-to-end duration) позволяет перейти от планирования «на глаз» к оптимизации расписания GPU-кластеров. Это снижает простои оборудования (idle capacity) и ускоряет итерации экспериментов. Модель использует только данные, известные до запуска задачи (гиперпараметры, размер датасета, тип модели), что делает её применимой для систем оркестровки в реальном времени. Полная версия исследования будет опубликована на arXiv.

Источник: Hugging Face blog ↗