裸金属租赁整机怎么配?算力租赁平台的CPU内存存储配比与区域价差
很多团队在算力租赁平台上挑裸金属,只看一个数:GPU 型号和卡数。8 卡 H800,价格能接受,签。上线之后发现 CPU 核数不够,数据加载工具跑不满;内存只有 512G,预处理阶段就开始换页;系统盘 480G,装完框架和驱动只剩一半。这些配置项在报价单上常常是折叠的,但它决定了这台机器能不能按预期交付算力。
这篇文章把裸金属整机的非 GPU 部分拆开讲。哪些配置有下限,哪些可以谈,同一机型为什么不同区域价格不一样。
一、CPU 核数与 GPU 的配比下限
这条线不是拍出来的。以一个典型的多模态训练任务为例,每个 batch 需要在 CPU 侧完成图像解码、尺寸归一化和张量组装,这些操作是并行的,核数不足时数据准备线程排在 GPU 迭代后面。8 卡配置如果只给 32 核,相当于每卡 4 核,数据管道必然掉队。
反过来说,CPU 也不是越多越好。训练框架对 CPU 利用率的上限有明显拐点,超过每卡 24 核之后收益递减,多花的钱不如加到内存或者数据盘上。挑配置的时候,16 到 24 核每卡是这个区间里的合理落点。
二、内存不是越大越好,是要能装下两批数据
内存容量的合理性有一个可验证的判断方法:能不能装下至少两个完整 batch 的宿主侧数据。如果宿主机内存装不下一个 batch 的中间态,预处理就会被强制切成小块,效率下降;如果能装下两批,就能实现读取与计算的重叠,流水线不停顿。
- 纯文本大模型微调:8 卡配置配 1TB 到 1.5TB 比较稳,tokenize 后的数据可以缓存在内存里反复采样。
- 多模态训练:建议 1.5TB 以上,图像解码的中间态比文本大得多。
- 推理服务:512GB 到 1TB 通常够用,主要取决于并发请求数和上下文长度。
这里还有一个容易被忽略的细节:NUMA(非统一内存访问)拓扑。8 卡机器通常是双路 CPU,如果内存插法不对,跨 NUMA 节点访问会带来额外延迟,训练时表现为偶发的 GPU 空转。验收阶段用带宽测试工具跑一遍,能看出内存是否按对称方式插满。
三、存储要分成三层来看
把「存储」当成一个数字去谈,是选型里最常见的误区。整机上至少有三种存储角色,性能和可靠性要求完全不同。
一个常见的失衡是数据盘给了 30TB 大容量机械盘,但吞吐只有每秒一两百 MB。训练开始后每个 epoch 都要重新读一遍数据,瓶颈立刻暴露。与其堆容量,不如先保证吞吐达标,容量用对象存储或者网络存储补齐。
四、同一机型,为什么区域价差能到几千元
看裸金属报价时会发现一个现象:配置完全相同的机器,A 区域和 B 区域月租差好几千。这不是销售策略,背后是三重成本。
| 价差来源 | 说明 |
|---|---|
| 电力成本 | 8 卡整机满载功耗通常 6 到 10 千瓦,电价差异会直接传导到月租 |
| 机房条件 | 高功率密度机柜需要液冷或强冷支持,改造投入摊到租金里 |
| 网络与带宽 | 区域骨干网资源、专线接入条件不同,影响跨节点通信延迟 |
| 供给紧张程度 | 热门区域的整机资源周转快,价格随供需浮动 |
下表为极智算平台裸金属整机公开报价,采集日期 2026 年 10 月 8 日。带区域标注的机型可以看出同一型号在不同可用区的价格差异。
| 机型(8 卡整机) | 月租(元) |
|---|---|
| RTX 4090 24G | ¥9200 |
| RTX 4090 48G | ¥11360 |
| RTX 5090 32G | ¥15910 起 |
| 昇腾 910B 64G(湖北一区) | ¥18800 |
| 昇腾 910B 64G(华为专区) | ¥21200 |
| 昇腾 910B 64G(四川一区) | ¥21760 |
| A100 40G | ¥20800 |
| A100 80G | ¥41600 |
| A800 80G | ¥39200 |
| H20 96G | ¥45600 |
| H20 141G | ¥57600 |
| H800 80G | ¥81199 |
| H100 80G(宁夏) | ¥88480 |
| H100 80G(吉林) | ¥90400 |
| H200 141G | ¥151920 |
| B300 288G | ¥392000 |
以 H100 80G 为例,宁夏与吉林两地月租差 1920 元。对延迟不敏感、以离线训练为主的任务,完全可以把这部分成本省下来。反过来说,如果业务要求与用户侧节点低延迟通信,区域选择的空间就很小,这时候谈价的重点应该放在租期长度和续约条件上。
完整机型列表与各区域当前报价,可在算力租赁平台的裸金属整机页核对。
预算有限时,建议先在算力租赁平台的实例列表用按需形态验证业务吞吐,确认配比合理之后再转为整机长租。
五、交付验收阶段的检查清单
整机交付时把下面几项跑一遍,可以避免上线后才发现配置不达预期。检查不需要复杂工具,多数系统自带的命令行就够了。
- GPU 健康与拓扑:确认卡数与型号与合同一致,查看 GPU 之间的互联拓扑是否为期望的互联方式。
- CPU 核数与主频:确认可用物理核数,检查是否有物理核被隔离或禁用。
- 内存容量与 NUMA:核对总容量,确认内存按对称方式插满,避免跨节点访问。
- 磁盘读写实测:对数据盘做顺序与随机读写测试,确认吞吐达到合同约定值。
- 网络带宽实测:跑一次节点内与跨节点带宽测试,确认不出现明显衰减。
- 驱动与框架版本:记录出厂驱动版本,确认与团队使用的框架版本兼容。
这份清单建议在验收单上留出记录位置,把实测值写进去。后续如果出现性能与预期不符的情况,这是最有说服力的对照依据。
常见问题
裸金属整机价格采集自极智算平台整机页公开报价,采集日期 2026 年 10 月 8 日,实际价格与可用区域以平台页面展示为准。区域价差来源中的电力与机房成本说明,参考数据中心行业公开的能耗与制冷成本构成。NUMA 与存储分层建议为业界通用工程实践,具体阈值需结合业务实测确定。