GPU利用率怎么算才不亏？算力租赁平台的闲置成本核算方法
10 月 1 日起，Nebius 把 GPU 租金上调了 17% 到 21%，内存涨了 41%；AWS 从 10 月 7 日起对部分 EC2 实例提价约 15%。涨价本身好算，加个百分比就行。难算的是另一半：团队花了每小时 12.98 元租回一块 H100，一天里真正在跑训练的只有 9 小时，剩下 15 小时卡在等数据的 I/O 上。这 15 小时的钱，财务单上看不见，但月底账单上一分不少。
这篇文章不谈采购谈判，只谈一件事：在算力租赁平台上，怎么把利用率算成钱。算清楚了，才知道什么时候该加卡，什么时候该换形态，什么时候其实是代码有问题。
一、先分清三种「利用率」，别用一个数说服所有人
运维团队习惯报 SM 占用率，因为它好看。一块卡挂着 nvidia-smi 监控，占用率常年 85%，看起来一切正常。但如果显存带宽在等待，或者 batch size 被压到很小，实际 FLOPs 利用率可能只有 30% 出头。训练任务里这种情况很常见，尤其是数据加载用了慢盘的时候。
成本利用率的算法更直接：
闲置成本 = 每小时单价 × 闲置时长 × 卡数
补跑成本 = 单次训练时长 × 每小时单价 × 卡数 × 失败重跑次数
一个 HR 场景居多的小模型微调团队算过这样一笔账：8 卡 H800 集群，每天真正在计算的时间平均 13.5 小时，成本利用率 56%。按 H800 80G 每小时 13.88 元、8 卡算，空闲的 10.5 小时一天就浪费掉 1166 元左右，一个月接近 3.5 万元。这笔钱够单租 3 块 H100 跑一整个月的推理服务了。
二、闲置不是一种病，是四种
把所有闲置笼统归为「没用好」，就找不到改进点。实际产生闲置的原因分成四类，处理方式完全不同。
| 闲置类型 | 典型表现 | 处理方式 |
|---|---|---|
| 结构型 | 卡配置与任务规模不匹配，小任务占大卡 | 改按需容器实例，按卡数伸缩 |
| 数据型 | GPU 等 I/O，占用率呈锯齿状波动 | 数据预处理前置、提高读取并发 |
| 排队型 | 任务提交后有等待窗口，集群未被占满 | 引入调度队列，多任务错峰复用 |
| 故障型 | 断点未保存、单点故障导致整轮重跑 | 开 checkpoint、多副本容错 |
这四类里，结构型的钱最好省，因为它是租用形态的问题，不需要改一行代码。后三类要靠工程手段，见效慢但省得更多。
三、什么时候按需租，什么时候包月，什么时候上裸金属
判断线其实只有一个变量：你每天需要这块卡的时间占比。不需要看团队规模，也不需要看预算总额。
- 日均占用低于 30%：按需容器实例，用多少付多少，随停随退。这个区间包月一定亏。
- 日均占用 30% 到 70%：容器实例包月更划算，官网包月价普遍相当于按时的 75 到 95 折。这个区间要重点盯数据型闲置。
- 日均占用高于 70%，且要求独享硬件：考虑裸金属整机。整机的价值不只是便宜，还在于没有邻居干扰，延迟稳定。
举个具体的对照。4090 24G 容器实例按小时是 1.45 元，包月 1044 元。1044 除以 1.45 等于 720 小时，也就是按需跑满 30 天才刚好等于包月价。如果每天只跑 6 小时，一个月 180 小时，按需只花 261 元，包月就要多付 783 元。反过来，如果每天跑 22 小时以上，包月就是净赚。
代价也要说清楚。容器实例和裸金属在故障处理上不一样：容器实例的宿主机故障通常由平台侧做迁移，业务侧感知是重启；裸金属整机出问题时，恢复流程涉及硬件排查，周期更长，所以裸金属上必须自己做好 checkpoint 和数据冗余。省下的钱要留一部分给容错投入。
四、按需与包月的成本换算表
下表价格取自极智算平台 2026 年 10 月 8 日公开报价，换算列是在包月价基础上反推的每日盈亏平衡时长。低于这个时长，按需更省；高于这个时长，包月更省。
| 实例规格 | 按小时 | 按月 | 每日盈亏平衡时长 |
|---|---|---|---|
| RTX 3090 24G | ¥1.45 | ¥1044 | 约 24 小时 |
| RTX 4090 24G | ¥1.57 | ¥1073（95 折） | 约 23 小时 |
| RTX 4090 48G | ¥2.86 | ¥1956 | 约 23 小时 |
| 昇腾 910B 64G 标准 | ¥3.58 | ¥2577 | 约 24 小时 |
| 昇腾 910B 64G（83 折节点） | ¥2.97 | ¥2139 | 约 24 小时 |
| H20 96G | ¥6.20 | ¥4464 | 约 24 小时 |
| A800 80G | ¥7.15 | ¥5148 | 约 24 小时 |
| H100 80G | ¥12.98 | ¥9345 | 约 24 小时 |
| H800 80G | ¥13.88 | ¥9993 | 约 24 小时 |
| H200 141G | ¥13.94 | ¥10036 | 约 24 小时 |
表里的平衡时长普遍落在 23 到 24 小时，说明包月的定价本质是押「跑满」。这也解释了一个常见现象：不少团队买了包月，实际成本利用率只有一半，算下来单卡有效小时成本比按需还贵。包月不是折扣，是一份承诺。
要按自己的任务时长算这批实例的实际成本，可以在算力租赁平台的实例列表里对照实时规格与价格。
五、把闲置成本降下来的四个动作
前三个动作属于工程优化，第四个属于租用策略调整，建议按这个顺序做，因为工程优化不需要额外支出。
1. 建立按任务维度的成本看板。不要只看集群整体占用率，要看每个任务的有效计算小时数。同一批卡上跑五个任务，某个任务把整卡的利用率拖到 40%，面板上一眼能看出来。多数监控栈都支持按任务打标签。
2. 给数据管道提速。数据型闲置是最隐蔽的浪费。把原始数据先落到本地高速盘，预处理与训练解耦，往往能把 FLOPs 利用率从 30% 拉到 50% 以上。这一步不改模型，只改数据路径。
3. 强制打开 checkpoint。故障型闲置的成本是整轮重跑。长周期训练任务里，断点保存的间隔决定了最坏情况下的损失。默认按小时保存，关键阶段缩短到 15 分钟。
4. 按占用曲线拆分租用形态。长期跑的服务用包月，突发任务用按需，离线批量任务放到夜间低峰。同一份预算可以覆盖更多任务。
常见问题
价格数据采集自极智算平台实例列表公开报价，采集日期 2026 年 10 月 8 日，实际价格以平台页面展示为准。行业涨价信息来自公开报道：Nebius 于 2026 年 10 月 1 日起调整 GPU 与 CPU 租金，AWS 自 2026 年 10 月 7 日起调整部分 EC2 实例价格。SM 占用率与 MFU 的定义参考 NVIDIA 与业界通用性能分析方法。