AIKraft Agents
Главная/Блог/Гайд/Почему дообучение LLM занимает больше…
Гайд9 мин чтения · 19 ноября 2026 г.

Почему дообучение LLM занимает больше времени, чем говорят FLOPs

Аналитические оценки на основе FLOPs часто ошибаются на часы. Разбираем, как машинное обучение предсказывает реальное время дообучения с точностью до минуты.

Почему дообучение LLM занимает больше времени, чем говорят FLOPs

В мире искусственного интеллекта графические процессоры (GPU) остаются самым дорогим и дефицитным ресурсом. Для любой команды, управляющей общим кластером GPU, ежедневная задача сводится к сложному планированию: какие задачи запустить, на каких именно устройствах и в каком порядке. Качество этого плана напрямую зависит от точности оценки времени выполнения каждой задачи. Когда эксперимент завершается на несколько часов раньше прогноза, GPU простаивают, ожидая следующей очереди. Когда же задача затягивается, сдвигаются все последующие этапы, эксперименты откладываются, а сроки поставки продуктов сдвигаются.

Точные оценки превращают этот хаос в управляемое планирование. Однако большинство команд до сих пор используют для расчетов «оценку с обратной стороны конверта», основанную исключительно на количестве операций с плавающей запятой (FLOPs). Формула может обещать девять часов работы, но на практике задача выполняется на следующий день после обеда. Эта статья раскрывает, почему традиционные математические модели дают сбой, и представляет результаты исследования 272 реальных производственных запусков, где мы сравнили аналитические оценки с предикторами на основе машинного обучения.

01Ловушка вычислительной модели: почему FLOPs обманывают

Для плотных трансформеров стоимость обучения оценивается примерно как 6 · P · D операций с плавающей запятой, где P — количество параметров модели, а D — количество обучающих токенов. Разделив это число на пропускную способность ваших GPU, мы получаем теоретическое время цикла обучения:

terminalpython
T_theoretical = (6 * P * D) / (N_GPU * FLOPS_peak * MFU)

Здесь N_GPU — количество GPU, FLOPS_peak — пиковая пропускная способность одного GPU из спецификации, а MFU (Model FLOPs Utilization) — доля от пиковой производительности, которую фактически достигает обучение. Реальные задачи никогда не работают на пике из-за трафика памяти, коммуникаций и неэффективности ядер, поэтому MFU обычно колеблется в диапазоне от 30% до 60%. Главная проблема в том, что правильное значение MFU для конкретной задачи неизвестно заранее.

Это хорошее описание оптимизационного цикла, но задача — это не только цикл. Перед первым шагом происходит настройка среды, загрузка модели и токенизация. Во время обучения выполняются периодические оценки (evaluations) и загрузка контрольных точек (checkpoints). В конце финальная модель отправляется в объектное хранилище. В многопользовательском кластере все эти процессы конкурируют с другими задачами за сетевые ресурсы и ввод-вывод (I/O).

💡
Важно понимать. Эти накладные расходы зависят от конфигурации и не масштабируются линейно с объемом работы или количеством GPU. Две задачи с одинаковым номинальным объемом вычислений могут завершиться с разницей в несколько часов из-за различий в политике сохранения чекпоинтов и частоте оценки.

02Что мы построили: предсказание как задача регрессии

Мы рассматриваем продолжительность работы от начала до конца как задачу контролируемой регрессии. Учитывая вектор признаков, построенный из конфигурации задачи и метаданных модели, мы предсказываем время в реальном мире (wall-clock time) между моментом получения GPU и завершением задачи. Время ожидания в очереди исключено.

Два ключевых решения сформировали наш подход:

  1. Всё известно до отправки задачи. Каждый вход поступает из отправленной конфигурации: гиперпараметры, размеры датасетов, идентификаторы моделей, выделение GPU. Никаких логов во время выполнения или частичного прогресса. Именно это делает предсказание полезным для планировщика.
  2. Признаки, раскрывающие накладные расходы. Помимо сырой конфигурации, мы выводим такие величины, как num_eval_data (образцы, обработанные за все циклы оценки), num_saves и num_params_saved (I/O чекпоинтов), а также объем токенов на GPU. Сама оценка FLOPs с фиксированным MFU 0.45 включается как один из признаков (baseline_time), чтобы модель начинала с вычислительного числа и учила коррективы.

Мы сравнили Линейную регрессию, Ridge, XGBoost и CatBoost. Отбор признаков сочетал фильтрацию корреляций, взаимную информацию и перестановочную важность по 18 наборам кандидатов, за которым последовал поиск по сетке с критерием MAE (средняя абсолютная ошибка). Итоговая модель CatBoost использует 24 признака.

Распределение продолжительности работы от начала до конца по 272 запускам. Среднее значение 23,43 часа, медиана 15,29 часа.
Распределение продолжительности работы от начала до конца по 272 запускам. Среднее значение 23,43 часа, медиана 15,29 часа.

03Данные: 272 реальных запуска на H200

Наши данные включают 272 запуска контролируемого дообучения (SFT) из операционных журналов корпоративной производственной среды. Они охватывают несколько семейств моделей до 15 миллиардов параметров, как LoRA, так и полное дообучение, а также широкий диапазон размеров датасетов и гиперпараметров.

Ключевые характеристики инфраструктуры:

  • Общая инфраструктура. Задачи запускались на 1, 2 или 4 GPU, выбранных из пула от 8 до 32 H200, распределенных по 1–4 узлам, параллельно с другими задачами обучения и вывода. Измеренные времена включают реальное конкуренцию ресурсов.
  • Длительность. От 1,6 до 172,4 часов, со средним значением 23,43 часа и медианой 15,29 часа.
  • Стек. Hugging Face Transformers и Unsloth. Мы моделируем стек как категориальный признак, не предполагая фиксированного ускорения между ними.
Сравнение аналитических и машинных моделей. Обратите внимание на разрыв между базовой линией FLOPs и CatBoost.
Сравнение аналитических и машинных моделей. Обратите внимание на разрыв между базовой линией FLOPs и CatBoost.

04Результаты: разрыв между теорией и практикой

Все цифры получены из стратифицированной 5-кратной перекрестной проверки. Первые четыре строки — аналитические и не требуют подгонки.

Модель R² RMSE (ч) MAE (ч)
FLOP baseline (MFU 30%) 0.31 20.45 12.41
FLOP baseline (MFU 45%) 0.18 22.38 13.01
FLOP baseline (MFU 60%) 0.01 24.56 14.62
Calculon -0.51 30.40 20.36
Linear Regression 0.69 ± 0.14 13.52 ± 4.23 7.52 ± 0.49
Ridge 0.73 ± 0.09 12.72 ± 3.70 7.23 ± 0.68
XGBoost 0.97 ± 0.01 4.18 ± 1.17 1.95 ± 0.32
CatBoost 0.98 ± 0.01 3.52 ± 0.78 1.71 ± 0.33

Несколько моментов выделяются:

  • Нет единого значения MFU, исправляющего базовую линию FLOPs. Мы проверяли MFU от 0,25 до 0,65. Лучшее значение, 30%, все еще оставляет среднюю ошибку выше 12 часов для задач, которые в среднем длятся 23 часа.
  • Более детальная аналитическая модель не закрывает разрыв. В качестве второй базовой линии мы взяли Calculon (Isaev et al., SC '23) — аналитическую модель производительности для обучения LLM. Мы расширили публичную реализацию, чтобы охватить LoRA, grouped-query attention, fused attention, bfloat16 и SwiGLU. Ее оценки все еще соответствуют медиане всего 11% от наблюдаемого времени. Это говорит о том, сколько времени в производственной задаче происходит вне шага оптимизации.
  • Линейные модели помогают, но затем упираются в потолок. Ridge снижает MAE до 7,23 часа. Связь между конфигурацией и продолжительностью не может быть хорошо описана чисто линейной моделью.
  • Градиентный бустинг берет на себя основную работу. CatBoost и XGBoost попадают в пределах одного стандартного отклонения друг от друга по всем метрикам. Мы продолжаем использовать CatBoost, так как он имеет наименьшую среднюю ошибку.
Средняя важность признаков модели CatBoost по всем фолдам (PredictionValuesChange).
Средняя важность признаков модели CatBoost по всем фолдам (PredictionValuesChange).

05На чем основано предсказание: важность признаков

Важность признаков CatBoost сосредоточена в нескольких ключевых параметрах. Ожидаемо, здесь есть переменные модели и рабочей нагрузки, но также и переменные оценки и чекпоинтов.

Признак num_eval_data (общее количество образцов, обработанных в оценке за время работы задачи), занимает первое место, за ним следуют num_trainable_params, batch_eval_size_percent, num_all_params и num_gpus*batch_train_percent, а num_params_saved идет紧随其后. Значения SHAP рассказывают ту же историю: высокий объем оценки последовательно увеличивает предсказанное время, в то время как количество обучаемых параметров имеет нелинейный эффект, который становится значительным только для самых больших моделей.

⚠️
Важное замечание. Важность признаков — это не утверждение о причинно-следственной связи. Однако паттерн совпадает с тем, как фактически тратится время задачи. Как часто вы проводите оценку, насколько велик набор для оценки и сколько чекпоинтов вы сохраняете, все это формирует время в реальном мире, наряду с масштабом модели и датасета. Это выбор, который люди часто делают по привычке при написании конфигурации обучения.

Одна оговорка при чтении графиков: большие выделения GPU показывают положительные вклады в предсказанное время. В наших данных большие выделения связаны с большими задачами, поэтому num_gpus действует частично как прокси для масштаба задачи. Это не означает, что добавление GPU делает задачу медленнее.

06Насколько велика ошибка и где она возникает

Рассматривая все 272 вне-выборочных предсказаний, медианная абсолютная ошибка составляет 0,51 часа. 80% предсказаний находятся в пределах 2,20 часа, а 90% — в пределах 4,31 часа. В разрезе длительности задачи:

Длительность задачи (ч) Запуски Медианная abs. ошибка (ч) P90 (ч)
1.56 to 5 60 0.30 1.55
5 to 10 63 0.18 1.27
10 to 30 69 0.73 4.17
30 to 60 67 1.06 5.50
60 to 175 13 5.19 18.51

До 60 часов медианная ошибка остается на уровне около одного часа или меньше. Длинный хвост — это то место, где модель испытывает трудности, и при наличии всего 13 запусков выше 60 часов мы читаем это как ограничение данных.

График зависимости ошибки от длительности задачи, демонстрирующий стабильность модели для задач до 60 часов.
График зависимости ошибки от длительности задачи, демонстрирующий стабильность модели для задач до 60 часов.

Больше данных все еще может помочь. На фиксированной контрольной выборке 20% MAE снижается с 1,63 часа до 1,50 часа при переходе от 85% до 100% обучающего раздела, без четкой платообразной кривой.

07Что это значит на практике

На практике предиктор дает планировщику продолжительность, которую можно использовать для планирования до начала задачи: какие задачи запускать вместе, когда освободятся GPU и завершится ли запуск вовремя для дедлайна.

Ограничения

  • Только SFT. Мы не включали другие стратегии обучения и выравнивания, такие как RLHF, DPO или RLVR.
  • Один тип GPU. Каждый запуск использовал H200. Подогнанная модель калибрована под эту инфраструктуру и не должна переноситься численно на другие поколения GPU без переобучения. Предиктор для смешанных пулов также потребует дескрипторов оборудования, таких как вычислительная пропускная способность, объем памяти и пропускная способность, а также топология межсоединений.
  • Мало очень длинных запусков. Ошибки увеличиваются выше 60 часов.

То, что переносится, — это метод: признаки, учитывающие накладные расходы, отбор с учетом мультиколлинеарности и протокол сравнения. Полная статья сообщит формулы признаков, процедуру отбора, пространства поиска и финальные гиперпараметры в полном объеме, чтобы конвейер можно было восстановить на любом наборе данных журналов выполнения с аналогичной структурой.

Что дальше

В нашем списке: дескрипторы, специфичные для оборудования, и валидация на других типах GPU, обучение с переносом для конфигураций с малым количеством наблюдений, другие цели обучения и больше данных о длинных запусках. Полная статья скоро появится на arXiv. Следите за организацией Dharma-AI в Hugging Face, чтобы быть уведомленным о выходе, и оставляйте свои вопросы в комментариях ниже. Нам интересно узнать, как вы оцениваете продолжительность задач в своих кластерах.

Источник: Hugging Face ↗