翻开裸金属整机的配置单,显卡型号、显存、CPU核数、内存、数据盘各占一行,字号相近。IB组网也在其中,通常只写六七个字符,比如400G×4。这一行最容易被跳过,却是多机训练能不能跑起来的分水岭。82.png

同样是八卡整机,官网上在架机型的IB配置从1条400G到10条800G不等。按每卡均摊折算,差距接近20倍。价格却不一定跟着这个差距走。

一、把链路数折成每卡均摊

IB配置写成400G×4,意思是4条400G链路。整机8卡共享这4条链路,每卡均摊的对外互联带宽就是400G×4÷8,等于200G。

这个折算值比总带宽更能反映实际能力。多机训练时,梯度同步发生在卡与卡之间,均摊不足会直接变成通信等待。

机型(区域)IB 配置每卡均摊月付价
B300 288G(四川一区)800G×101000G¥392000
H200 141G(陕西一区)400G×8400G¥151920
H20 96G(四川三区)400G×4200G¥45600
H100 80G(吉林一区)400G×4200G¥90400
H800 80G(四川三区)400G×150G¥81199
A800 80G(四川三区)200G×250G¥39200
A100 40G(四川三区)200G×250G¥20800

表里最值得看的一对是H20 96G与H800 80G。H20月付45600元,每卡均摊200G;H800月付81199元,每卡均摊只有50G。前者便宜44%,互联带宽是后者的4倍。

这不是说H800不值得买。H800的显存带宽与算力更强,单卡性能占优。但如果任务瓶颈在机间通信,比如大规模分布式训练,H20的组网优势会抵消一部分算力差距。

二、三种互联形态的边界

IB组网:多机训练的必要条件
准确定义:InfiniBand是一种高带宽、低时延的服务器互联标准,支持RDMA,常用于GPU集群的机间通信。配置里标注IB组网并给出速率与链路数,说明这台机器可以接入IB交换网络。

以太网:通用互联,可做分布式但不为训练优化
910B的三个区域分别配了共享2000M、以太网100G×4、以太网200G×6。速率看着不低,但以太网走TCP/IP栈,时延与CPU开销都高于IB,适合推理服务与数据交换,大规模训练的梯度同步会吃亏。

无标注:按单机使用
A100 80G页面只标了NVlink与以太网25G×2。NVlink解决的是机内8卡之间的通信,机间只有普通以太网。这类机器适合单机训练、微调与推理,不适合横向扩展到几十台。

官网还有一个细节值得停下来看:H20 141G在陕西一区的配置单里,网卡一栏写的是IB组网 0G×0。这大概率是页面渲染问题,但也说明配置单不能只看有没有IB两个字。下单前把速率与链路数问清楚,是必要的动作。

三、链路数怎么和集群规模对上

单机IB配置决定的是这台机器对外能跑多快,能不能扩成集群还要看交换侧。

以400G×4的机型为例,每台机器要占用交换机4个400G端口。一台主流IB交换机按64端口算,无阻塞组网下大约能接16台。要扩到32台,就得考虑两层组网或者更高密度的交换设备。

这个账要提前算。很多项目在签完整机后才发现交换侧端口不够,追加交换设备的时间比等机器更长。

还有一层容易被销售话术盖过去的参数是收敛比。无阻塞组网下,每台机器的上联带宽等于它的IB总带宽,成本最高。3比1收敛意味着三台机器的峰值流量共享一份上联带宽,平时够用,一旦所有节点同时做全量梯度同步就会排队。训练任务对收敛比敏感,推理与数据处理可以放宽。合同里如果只写IB 400G×4而不写收敛比,实际表现可能和预期差很远。

另一头是存储。IB组网通常与并行文件系统配套,训练数据的读取走同一张网。如果存储侧带宽不足,GPU会等数据,互联再好也用不上。需要核对整机的组网与存储配置,可以在裸金属机型明细页面逐项对照。81.png

四、上架前怎么验互联

一是核对物理链路数。进机房看网卡与光模块的实际数量,与合同逐条对照。配置单写4条,实际接了2条的情况并不罕见。

二是实测卡间与机间带宽。卡间跑NVLink带宽测试,机间跑IB带宽测试。两个数字要分开看,混在一起测会掩盖问题。

三是跑一轮真实通信模式。All-Reduce、All-to-All这些集合通信操作的实测吞吐,比裸带宽更接近训练时的表现。MoE类模型对All-to-All尤其敏感。

四是记录基线。验收时的带宽、时延、误码率做成基线,后续出现性能下降可以对比定位。IB链路的误码率上升往往先表现为训练速度变慢,而不是直接报错。

五、按训练规模反推配置

单机8卡能跑的任务,IB配置不重要,NVlink够用。这是很多微调与推理场景的真实情况。

跨到2至8台,机间通信开始影响效率。这时候每卡均摊50G是底线,200G以上体验明显不同。

超过8台,交换侧组网方式成为主要变量。这一层要按无阻塞或收敛比来设计,不能简单堆机器。

把这三档和自己的训练规模对上,再看报价单上的IB那一行,判断会清楚很多。单机任务为IB付溢价没有意义,多机任务省掉IB则是省错了地方。需要按组网要求筛机型,可以从算力市场实时报价进入容器实例与裸金属两个页面分别核对。

常见问题

Q1:400G×1和200G×2,哪个更好?

总带宽都是400G,每卡均摊都是50G。差别在链路的冗余与聚合方式:单条400G一旦故障就是全断,两条200G可以做冗余或负载分担。多机训练场景下,双链路更稳妥。

Q2:只有以太网的910B整机能不能做分布式训练?

能做,效率取决于规模与模型。两三台做数据并行,以太网200G×6的配置可以接受。规模再往上,通信开销会快速吃掉算力收益。推理与微调场景不受这个限制。

Q3:配置单写IB组网0G×0是什么意思?

这是页面显示的异常值,不能按字面理解。遇到这种情况直接向供应商确认实际网卡型号、速率与链路数,并要求写进合同附件。配置单上的空白与异常值,都应该在下单前变成明确数字。

Q4:IB组网需要额外付费吗?

整机报价通常已包含标明的网卡与链路,但交换机端口、线缆、跨机柜布线可能单独计费。签约前把交换侧的费用归属问清楚,避免上架时追加预算。

数据来源与时效
机型IB配置、CPU、内存、数据盘与月付价格:极智算(jygpu.com)官网裸金属页面,2026年10月19日采集。价格随市场波动,以实际下单页面为准。
每卡均摊带宽为按链路数与卡数折算的估算值,未计入收敛比与协议开销。
交换机端口密度按主流64端口规格举例,实际以所选交换设备为准。
本文数据用于技术参考,不构成采购建议。
按组网要求筛整机

IB速率、链路数、数据盘与带宽形态逐项可查,多机训练项目建议先确认交换侧条件。

查看整机与组网配置
标签:算力租赁平台 · 裸金属租赁 · IB组网 · 多机训练 · 整机验收