为什么大模型微调耗时远超 FLOP 估算
Why your fine-tuning job takes longer than the FLOPs say
Dharma-AI 研究发现传统基于 FLOP 的大模型微调耗时估算误差显著,R² 仅为 0.31 且平均绝对误差达 12.41 小时,主因是环境初始化、评测频率与检查点 I/O 等非计算开销未被计入。团队基于 272 个 NVIDIA H200 真实微调任务,训练了仅依赖任务提交配置的 CatBoost 回归模型,将端到端耗时预测的 R² 提升至 0.98,中位数误差降至 0.51 小时。
团队对比了理论算力与真实运行日志,揭示了评测和检查点开销对集群调度的干扰。
基于 272 次生产环境运行记录,预测共享 GPU 集群上的端到端微调耗时。
以下内容节选自我们即将发表的论文《Predicting End-to-End Fine-Tuning Time for Generative Language Models》(生成式语言模型端到端微调耗时预测),完整版不久后将在 arXiv 上线。
GPU 是当今 AI 领域最昂贵也最紧缺的资源之一。只要在运维共享集群,每天都得拍板决定:哪些任务该分配给哪些 GPU,又该按什么顺序跑。排期要想排得准,全看对各项任务耗时的预估有多准。任务要是提前好几个小时跑完,GPU 就会一直空转,干等下一个任务派发;任务要是拖延好几个小时,排在后面的所有任务就全得延后,实验只能干等,交付日期也跟着往后推。
如果能把耗时估得更准,排期就不再靠猜:什么任务该在什么时候跑、用多少张 GPU,中间的空转闲置也能大幅减少。然而,大多数团队目前用的估算方法,不过是在草稿纸上简单算一下浮点运算量(FLOP)。算出来只要 9 小时,结果第二天下午才跑完。
我们想弄清楚这种算法到底差得有多离谱,以及能否在任务派发前把预估做得更准。为此,我们从由 NVIDIA H200 GPU 构成的生产集群中抽取了 272 个真实的监督微调(SFT)任务,总计约 7382 个 GPU 运行时长,并将理论公式推算与基于机器学习的预测模型进行了对比。
简而言之,常见的基于 FLOP 的估算方法几乎解释不了我们在实际中观察到的耗时差异(R² = 0.31,MAE 达 12.41 小时)。而仅利用派发前已有特征的 CatBoost 回归模型,在 5 折交叉验证中达到了 R² = 0.98,平均绝对误差仅 1.71 小时,中位数误差仅 0.51 小时。二者的差距源于理论解析式无法实现的两个关键能力:回归模型能捕捉到更多微调特有的信号,例如评估频次、检查点保存策略、单 GPU 负载以及微调配置方案;同时,它还能从历史运行数据中学习这些因素之间的非线性相互作用。
大家普遍采用的估算方式只考虑了算力
对于稠密 Transformer 模型,训练所需的浮点运算量大约为 6·P·D,其中 P 代表参数量,D 代表训练词元(token)数量。将该值除以 GPU 能提供的实际算力,就能推算出纯训练循环的耗时:
T_theoretical = (6 · P · D) / (N_GPU · FLOPS_peak · MFU)
其中 N_GPU 为 GPU 数量,FLOPS_peak 是官方规格表中标注的单卡峰值算力,MFU(模型浮点运算利用率)则是实际训练中达到的峰值算力百分比。由于显存读写瓶颈、卡间通信以及算子效率不高,实际任务根本不可能全程跑在峰值,因此 MFU 通常只在 30% 到 60% 之间波动,而且对具体某个任务来说,合理的数值根本无法预先获知。
这套公式确实能很好地描述内部优化循环,但一个完整的任务远不止训练循环本身。在跑第一步迭代之前,需要配置环境、下载并加载模型,还要进行分词;训练过程中,需要定期执行评估测试并上传检查点;全部训练结束后,还要把最终模型同步到对象存储。在多租户集群上,所有这些环节都得和其他任务抢占网络带宽和存储 I/O。
这些额外开销高度依赖具体配置,而且不会随着计算量或 GPU 数量的增加而呈线性变化。两个名义算力完全相同的任务,实际跑完可能相差数个小时。
为了确保对比公正,我们测试的 FLOP 基线模型不仅统计了训练词元,还将计划内的评估词元一并计入,并对 MFU 进行了大范围扫参。
我们的方案
我们把端到端耗时当作监督回归问题来处理:根据任务配置和模型元数据构建特征向量,预测任务从拿到 GPU 到执行完毕的实际运行时间(wall-clock time)。排队等待时间不计入在内。
这项工作由两个核心设计思路驱动:
- 所有信息均在调度前获取。所有输入都来自提交的配置:超参数、数据集大小、模型标识符以及 GPU 分配情况。无需运行时日志,也不依赖部分执行进度。正因如此,预测结果才能真正用于任务调度。
- 提取能反映额外开销的特征。在原始配置之上,我们衍生出了一系列量化指标,例如
num_eval_data(所有评估周期内处理的样本总量)、num_saves与num_params_saved(检查点 I/O 开销),以及单 GPU 处理的 token 量。在 MFU 固定为 0.45 的情况下,FLOP 估算值本身也作为一个特征(baseline_time)输入,让模型在纯算力预估的基础上学习如何修正。
我们对比了线性回归、Ridge、XGBoost 和 CatBoost。在特征选择上,我们结合了相关性过滤、互信息以及在 18 组候选特征上的排列重要度分析,随后以 MAE 为评价指标进行网格搜索。最终的 CatBoost 模型共采用了 24 个特征。
数据集
- 272 次 SFT 运行记录均取自某企业生产环境的运行日志,涵盖参数量最高达 150 亿的多个模型家族,包含 LoRA 与全量微调,且涉及广泛的数据集规模与超参数组合。
- 共享基础设施。任务在包含 1 到 4 个节点、共 8 到 32 块 H200 的资源池中运行,每次占用 1、2 或 4 块 GPU,同时还有其他训练和推理任务共存。测得的时间已包含真实的资源竞争开销。
- 运行耗时在 1.6 到 172.4 小时之间,平均值为 23.43 小时,中位数为 15.29 小时。
- 技术栈:包含 Hugging Face Transformers 和 Unsloth。我们把技术栈作为分类特征建模,不预先假设两者之间存在固定的加速比。
272 次运行的端到端耗时分布:均值 23.43 小时,中位数 15.29 小时。
实验结果
所有数据均来自 5 折分层交叉验证。前四行为解析基准,不涉及任何模型拟合。
| 模型 | R² | RMSE(小时) | MAE(小时) |
|---|---|---|---|
| FLOP 基准(MFU 30%) | 0.31 | 20.45 | 12.41 |
| FLOP 基准(MFU 45%) | 0.18 | 22.38 | 13.01 |
| FLOP 基准(MFU 60%) | 0.01 | 24.56 | 14.62 |
| Calculon | −0.51 | 30.40 | 20.36 |
| 线性回归 | 0.69 ± 0.14 | 13.52 ± 4.23 | 7.52 ± 0.49 |
| Ridge | 0.73 ± 0.09 | 12.72 ± 3.70 | 7.23 ± 0.68 |
| XGBoost | 0.97 ± 0.01 | 4.18 ± 1.17 | 1.95 ± 0.32 |
| CatBoost | 0.98 ± 0.01 | 3.52 ± 0.78 | 1.71 ± 0.33 |
几点值得注意的发现:
单一的 MFU 设定无法拯救 FLOP 基准。我们在 0.25 到 0.65 之间扫描了 MFU。表现最好的是 30%,但面对平均耗时 23 小时的任务,其平均误差依然超过 12 小时。
更精细的解析模型同样无法弥合差距。我们选取的第二个基准是 Calculon(Isaev 等人,SC '23),这是此前专门针对大语言模型训练开发的解析性能模型。它构建了显式的网络层图,并综合考量了计算、内存吞吐及设备间通信。我们在其公开实现的基础上进行了扩展,支持了 LoRA、分组查询注意力(GQA)、融合注意力、bfloat16 和 SwiGLU。然而,它的估算结果中位数依然仅占实际运行时间的 11%。这并不是说 Calculon 本身有问题——作为步级分析工具,它很好地完成了设计初衷;这一结果恰恰说明,在生产环境中,有大量耗时发生在线性优化单步之外。
线性模型有提升,但很快见顶。Ridge 将 MAE 降到了 7.23 小时。任务配置与运行耗时之间的复杂关系,纯线性模型很难充分捕捉。
梯度提升模型承担了核心任务。在各项指标上,CatBoost 与 XGBoost 的差距都在一个标准差以内。由于 CatBoost 在各项指标上的平均误差都最低,我们后续选择使用它。
预测模型依赖哪些特征
CatBoost 的特征重要性高度集中在少数几个特征上。模型和工作负载变量不出所料位列其中,但评估和检查点(checkpoint)相关的变量同样举足轻重。num_eval_data(即整个任务生命周期中评估处理的样本总数)排名第一,紧随其后的是 num_trainable_params、batch_eval_size_percent、num_all_params 和 num_gpus*batch_train_percent,num_params_saved 也差距不大。SHAP 值的分析结果也印证了这一点:极高的评估量会持续拉长预测时间;而可训练参数量则表现出非线性影响,只有在模型规模极大时作用才显著凸显。
CatBoost 模型在各折交叉验证中的平均特征重要性(PredictionValuesChange)。
特征重要性并不代表因果关系。不过,这种模式与任务实际耗时的分布完全吻合。除了模型和数据集的规模外,评估的频繁程度、评估集的大小以及持久化保存的检查点数量,都会共同决定任务的实际运行时间(wall-clock time)。而这些参数,往往只是开发者在编写训练配置时凭习惯做出的选择。
解读这些图表时有一点需要注意:分配更多 GPU 对预测时间呈现正向贡献。在我们的数据中,GPU 分配量越大往往对应规模越大的任务,因此 num_gpus 在一定程度上充当了任务规模的代理变量。这并不意味着增加 GPU 反而会让任务变慢。
预测误差有多大,出现在哪里
在全部 272 个折外(out-of-fold)预测中,中位数绝对误差为 0.51 小时。80% 的预测误差在 2.20 小时以内,90% 在 4.31 小时以内。按任务时长细分如下:
| 任务时长(小时) | 运行次数 | 中位数绝对误差(小时) | P90(小时) |
|---|---|---|---|
| 1.56 至 5 | 60 | 0.30 | 1.55 |
| 5 至 10 | 63 | 0.18 | 1.27 |
| 10 至 30 | 69 | 0.73 | 4.17 |
| 30 至 60 | 67 | 1.06 | 5.50 |
| 60 至 175 | 13 | 5.19 | 18.51 |
在 60 小时以内,中位数误差一直维持在 1 小时左右或更低。模型的预测难点主要集中在长尾部分,而 60 小时以上的运行任务仅有 13 次,我们认为这主要是数据量不足所致。
折外绝对误差与实际时长的对比图,按时长区间以不同颜色标出。误差在 60 小时以内保持在较低水平,而在样本稀疏的长尾区间逐渐放大。
增加数据量仍有望进一步改善效果。在固定 20% 的保留测试集上,当训练集规模从 85% 增加到 100% 时,MAE 从 1.63 小时降至 1.50 小时,且未见明显的收敛瓶颈。
应用价值
在实际应用中,预测模型能在任务启动前为调度器提供可供参考的耗时:便于安排哪些任务可以并行、预估 GPU 何时释放,以及判断任务能否按时完成。
局限性
- 仅限 SFT。我们未纳入 RLHF、DPO 或 RLVR 等其他训练与对齐策略。
- 单一 GPU 型号。所有训练任务均使用 H200。拟合出的模型完全基于该硬件基础设施校准,未经重新训练不应直接套用到其他代际的 GPU 上。若要针对异构算力池构建预测模型,还需要引入计算吞吐量、显存容量与带宽,以及互连拓扑等硬件描述特征。
- 超长任务样本较少。超过 60 小时的任务预测误差会变大。
但具备通用迁移价值的是这套方法本身:兼顾开销的特征设计、考虑多重共线性的特征筛选,以及相应的对比评估流程。完整论文将公开完整的特征计算公式、筛选步骤、搜索空间与最终超参数,方便大家在结构类似的执行日志数据集上复现整套流程。
我们接下来的研究方向包括:引入特定硬件描述符并在其他 GPU 型号上展开验证、针对少样本配置探索迁移学习、尝试其他训练目标,以及收集更多长周期运行任务的数据。
后续计划
完整论文即将发布在 arXiv 上。欢迎在 Hugging Face 上关注 Dharma-AI 团队以第一时间获取更新,也欢迎在评论区留言交流。我们也很想了解大家平时在自己的集群上是如何估算任务时长的。
拓展阅读
- GPU 管理困局:闲置的 GPU 为何宛如停飞的客机
- 同一集群利用率提升 33 个百分点:秘诀只在于任务排序
- 实战指南:如何通过定制小型语言模型词表降低 77% 推理成本
- 专精优于规模:多数 AI 采购决策中被忽视的战略变量
- 模型专精化为何是必然趋势
- 模型代代更新,优势始终如一
- 走出聊天机器人:直接偏好优化(DPO)的更广应用
- 文本退化现象:多数基准测试都忽略的生产环境故障
Dharma-AI 研发团队 · 让 AI 真正为你所用
来源:Hugging Face Blog · huggingface.co


