物界前沿 · 资讯情报卡(HuggingFace · 2026/11/19)
研究:FLOPs估算微调时长误差大,新模型误差降至1.71小时
核心事实
- Dharma-AI基于272次真实SFT任务训练时长预测模型。
- 这些任务共消耗约7382个H200 GPU小时。
- 传统FLOPs估算的R²仅0.31,平均绝对误差12.41小时。
- CatBoost模型仅用任务下发前信息,R²达0.98。
- 该模型平均绝对误差1.71小时,中位误差0.51小时。
关键数据
272次生产SFT任务数
约7382 GPU小时总GPU时长
12.41小时FLOPs估算平均绝对误差
1.71小时CatBoost模型平均绝对误差
物界观察
调度靠FLOPs拍脑袋,误差动辄十几小时,共享集群的闲置与排队成本被严重低估。这项工作的价值不在模型多复杂,而在只用下发前信息就能把误差压到小时级,说明工程侧的特征比理论算力更值得投入。对租用GPU的团队,排期方式该换了。
物界前沿