很多团队在算力租赁平台上挑裸金属,只看一个数:GPU 型号和卡数。8 卡 H800,价格能接受,签。上线之后发现 CPU 核数不够,数据加载工具跑不满;内存只有 512G,预处理阶段就开始换页;系统盘 480G,装完框架和驱动只剩一半。这些配置项在报价单上常常是折叠的,但它决定了这台机器能不能按预期交付算力。

这篇文章把裸金属整机的非 GPU 部分拆开讲。哪些配置有下限,哪些可以谈,同一机型为什么不同区域价格不一样。91.png

一、CPU 核数与 GPU 的配比下限

经验配比:训练场景下,每块 GPU 建议配不低于 16 个物理 CPU 核;推理服务可以放宽到每卡 8 核左右。低于这个线,数据加载和任务调度会先成为瓶颈,GPU 有算力但拿不到数据。

这条线不是拍出来的。以一个典型的多模态训练任务为例,每个 batch 需要在 CPU 侧完成图像解码、尺寸归一化和张量组装,这些操作是并行的,核数不足时数据准备线程排在 GPU 迭代后面。8 卡配置如果只给 32 核,相当于每卡 4 核,数据管道必然掉队。

反过来说,CPU 也不是越多越好。训练框架对 CPU 利用率的上限有明显拐点,超过每卡 24 核之后收益递减,多花的钱不如加到内存或者数据盘上。挑配置的时候,16 到 24 核每卡是这个区间里的合理落点。

二、内存不是越大越好,是要能装下两批数据

内存容量的合理性有一个可验证的判断方法:能不能装下至少两个完整 batch 的宿主侧数据。如果宿主机内存装不下一个 batch 的中间态,预处理就会被强制切成小块,效率下降;如果能装下两批,就能实现读取与计算的重叠,流水线不停顿。

  • 纯文本大模型微调:8 卡配置配 1TB 到 1.5TB 比较稳,tokenize 后的数据可以缓存在内存里反复采样。
  • 多模态训练:建议 1.5TB 以上,图像解码的中间态比文本大得多。
  • 推理服务:512GB 到 1TB 通常够用,主要取决于并发请求数和上下文长度。

这里还有一个容易被忽略的细节:NUMA(非统一内存访问)拓扑。8 卡机器通常是双路 CPU,如果内存插法不对,跨 NUMA 节点访问会带来额外延迟,训练时表现为偶发的 GPU 空转。验收阶段用带宽测试工具跑一遍,能看出内存是否按对称方式插满。

三、存储要分成三层来看

把「存储」当成一个数字去谈,是选型里最常见的误区。整机上至少有三种存储角色,性能和可靠性要求完全不同。

系统盘
装驱动、框架和容器镜像。建议不少于 1TB,且用 NVMe。容量太小会在镜像层数多的时候爆掉。
数据盘
训练数据的常驻位置。要求高吞吐,建议 NVMe 阵列,容量按数据集规模的 1.5 倍预留。
checkpoint 盘
周期性写入,要求写入稳定。可与其他盘物理隔离,避免训练 I/O 抢占带宽导致保存变慢。

一个常见的失衡是数据盘给了 30TB 大容量机械盘,但吞吐只有每秒一两百 MB。训练开始后每个 epoch 都要重新读一遍数据,瓶颈立刻暴露。与其堆容量,不如先保证吞吐达标,容量用对象存储或者网络存储补齐。92.png

四、同一机型,为什么区域价差能到几千元

看裸金属报价时会发现一个现象:配置完全相同的机器,A 区域和 B 区域月租差好几千。这不是销售策略,背后是三重成本。

价差来源说明
电力成本8 卡整机满载功耗通常 6 到 10 千瓦,电价差异会直接传导到月租
机房条件高功率密度机柜需要液冷或强冷支持,改造投入摊到租金里
网络与带宽区域骨干网资源、专线接入条件不同,影响跨节点通信延迟
供给紧张程度热门区域的整机资源周转快,价格随供需浮动

下表为极智算平台裸金属整机公开报价,采集日期 2026 年 10 月 8 日。带区域标注的机型可以看出同一型号在不同可用区的价格差异。

机型(8 卡整机)月租(元)
RTX 4090 24G¥9200
RTX 4090 48G¥11360
RTX 5090 32G¥15910 起
昇腾 910B 64G(湖北一区)¥18800
昇腾 910B 64G(华为专区)¥21200
昇腾 910B 64G(四川一区)¥21760
A100 40G¥20800
A100 80G¥41600
A800 80G¥39200
H20 96G¥45600
H20 141G¥57600
H800 80G¥81199
H100 80G(宁夏)¥88480
H100 80G(吉林)¥90400
H200 141G¥151920
B300 288G¥392000

以 H100 80G 为例,宁夏与吉林两地月租差 1920 元。对延迟不敏感、以离线训练为主的任务,完全可以把这部分成本省下来。反过来说,如果业务要求与用户侧节点低延迟通信,区域选择的空间就很小,这时候谈价的重点应该放在租期长度和续约条件上。

完整机型列表与各区域当前报价,可在算力租赁平台的裸金属整机页核对。

预算有限时,建议先在算力租赁平台的实例列表用按需形态验证业务吞吐,确认配比合理之后再转为整机长租。

五、交付验收阶段的检查清单

整机交付时把下面几项跑一遍,可以避免上线后才发现配置不达预期。检查不需要复杂工具,多数系统自带的命令行就够了。

  • GPU 健康与拓扑:确认卡数与型号与合同一致,查看 GPU 之间的互联拓扑是否为期望的互联方式。
  • CPU 核数与主频:确认可用物理核数,检查是否有物理核被隔离或禁用。
  • 内存容量与 NUMA:核对总容量,确认内存按对称方式插满,避免跨节点访问。
  • 磁盘读写实测:对数据盘做顺序与随机读写测试,确认吞吐达到合同约定值。
  • 网络带宽实测:跑一次节点内与跨节点带宽测试,确认不出现明显衰减。
  • 驱动与框架版本:记录出厂驱动版本,确认与团队使用的框架版本兼容。

这份清单建议在验收单上留出记录位置,把实测值写进去。后续如果出现性能与预期不符的情况,这是最有说服力的对照依据。

整机选型的核心是配比,不是单看卡数
极智算平台提供多区域裸金属整机,覆盖从消费级到数据中心级的完整型号,配置与区域报价在整机页实时可查,可按业务延迟要求选择可用区。
查看实时规格与价格

常见问题

裸金属整机能不能只租一部分卡?
裸金属按整机交付,不支持拆分单卡。如果只需要少量算力,用容器实例按卡数选配更灵活。裸金属的价值在于独享硬件、延迟稳定,代价是必须按整机规模付费。
配置里的 CPU 和内存可以按要求调整吗?
多数平台在标准机型之外支持一定范围内的定制,但定制会拉长交付周期并且通常有最低租期要求。建议先按标准机型评估,确认配比确实不满足业务后,再走定制流程。
同一机型不同区域,除了价格还有别的差别吗?
有。网络延迟、可用的公网带宽规格、机房供电的稳定性都会不同。做在线推理服务的业务,区域选择对端到端延迟的影响可能比租金差异更值得关注。
整机交付后能不能换成其他型号?
这取决于平台的资源池情况,通常需要重新走一次开通流程而不是在线切换。所以在首次选型时就该把未来半年的算力需求估计清楚,避免短时间内反复更换。
数据来源与时效
裸金属整机价格采集自极智算平台整机页公开报价,采集日期 2026 年 10 月 8 日,实际价格与可用区域以平台页面展示为准。区域价差来源中的电力与机房成本说明,参考数据中心行业公开的能耗与制冷成本构成。NUMA 与存储分层建议为业界通用工程实践,具体阈值需结合业务实测确定。
算力租赁平台 裸金属整机配置 算力租赁区域价差 裸金属租赁 GPU服务器 数据盘配置