H20裸金属:跨机训练慢在哪,千台池还剩994台
不少团队在容器实例上把单机8卡的推理跑顺了,一扩到跨机训练就发现速度掉得厉害:卡的总量翻倍,吞吐却涨不动。这类问题的根子多半不在卡上,在机与机之间的那条网络上。通信走错了路,再多的卡也只是在排队等彼此。
这篇用一份公开的32卡部署实战拆解跨机通信的坑在哪,再对照H20裸金属整机的供给结构与价格,说明整机形态适合什么任务、不适合什么任务。
一、跨机慢的三个位置
公开的Kimi K3部署实战把这个问题拆得很具体。2.8T参数的MoE模型用32张H20部署,部署者把并行策略定为:张量并行与专家并行都限制在单机8卡内部,节点之间只走流水线并行。原因写得很直白:专家并行的All-to-All通信如果跨节点走IB,延迟会明显抬升,所以宁可把通信重的部分锁在机内NVLink上,跨机只传轻量的流水线边界。
三个常见的减速位置由此展开。其一是并行策略选错,把通信密集的并行维度放到跨机上;其二是网络走错路,该走IB的流量走了以太网,跨机带宽差一个量级;其三是单机内部的问题,卡间走PCIe而不是NVLink,延迟翻倍。前两个靠架构设计避免,后者靠部署时核对拓扑。
二、机内与机间的两条带宽
理解跨机性能,先分清两条带宽。机内是NVLink:H20保留第四代NVLink互联,芯片间带宽900GB每秒,8卡通过NVLink组成HGX整机,机内通信基本不构成瓶颈。机间是IB组网:整机配置单里写「速率乘链路数」,比如400G乘4表示4条400G链路,8卡共享,每卡均摊等于速率乘链路数除以8。多机训练的必要条件就是IB组网,没有IB的整机接不进IB交换网。
对照平台的整机配置单,H20两个显存档都在售:141G整机月付69120元、年付折合57600元,96G整机月付54720元、年付折合45600元。整机形态独占物理机,CPU、内存、网络配比都高于容器实例分得的份额,这是它与实例价格差异的来源,也是跨机任务只能上整机的原因。
三、千台池与小池:供给的两种形态
裸金属的供给结构分两层。H20 141G整机在陕西一区是千台级大池,11月18日采集余量994台,按比例算消耗约0.6%,扩容与续租的确定性高;H20 96G整机在四川三区是50台小池,余42台,已消耗16%。两类池的消耗速度不同,小池先被吃空是此前多批观察到的规律,长租计划要盯小池的余量变化。
| 机型(区域) | 月付 | 年付折合 | 余量 |
|---|---|---|---|
| H20 141G x8(陕西一区) | 69120元 | 57600元 | 994/1000 |
| H20 96G x8(四川三区) | 54720元 | 45600元 | 42/50 |
| S60 48G x8(四川一区,新上架) | 10368元 | 8640元 | 28/40 |

四、整机适合的三类任务
按任务类型分。跨机训练排在首位:需要IB组网、需要独占整机、需要多机稳定互联的预训练或大规模微调,容器实例的分时形态撑不住。私有化部署排其二:整机独占物理资源,配合vGPU能力可以做一机多租,NVIDIA官方文档显示H20 SXM5 141GB支持vGPU切分,有H20X-141C等预设类型,数据不出域的场景用得上。长租驻留排其三:年付口径等于按十个月计费,锁一年价格,适合负载稳定的常驻服务。
反过来,纯推理、单机8卡以内的任务不必上整机。容器实例包月7020元每卡,整机141G折算单卡月付8640元,整机贵在独占与配比,不在单卡价。显存档选择与并发账的算法,可参考站内第1064篇的拆解。
五、下单前核对什么
整机下单前的核对清单有四项。一是IB配置逐条看速率与链路数,只写「IB组网」三个字的要追问,官方页面曾出现0G乘0的渲染异常,不能据此判断有无IB;二是CPU与内存配比按每卡核数与内存显存比折算,跨区域同型号差异可能一倍;三是数据盘介质区分NVMe与SSD,训练数据加载吃随机读;四是带宽形态分清共享与独享,扩容单价按元每月每兆另算。
价格随市场波动,当前整机余量与配置单在算力市场实时报价页入口下查看,裸金属形态可看裸金属整机配置与报价页。计费方式为按月与按年两档,年付总额等于月付乘十。
年付口径的账再展开一层。整机年付总额等于月付乘十,相当于按十个月计费,H20 141G整机年付折合57600元每台月,对月付69120元节省16.7%。按单卡折算,年付口径每卡每月7200元,低于容器实例包月7020元每卡的水位线接近持平,整机多出的独占整机、IB组网与更高配比,相当于在这个价位上附送。租期一年以上的跨机任务,年付与月付的差额足够覆盖一次小规模扩容。
混合部署也是整机形态的一个实用玩法:一台整机跑常驻推理服务,另一台按需承接训练任务,两台之间走IB。推理那台全年不空转,训练那台按项目周期伸缩,比全部长租或者全部按量都省。这个方案的前提是平台支持整机与实例在同一网络域内互通,下单前要与平台确认组网方式。
退租与扩容条款要提前问清。长租合同里的三个常见坑:中途退租按什么口径结算、追加机位是否沿用年付折扣、故障换机的时间承诺。这三项在合同里写明白,比在价格上多砍几百元重要,跨机训练一旦开始,停机一天的损失远超折扣差。
常见问题Q:多机训练互联怎么选?
A:机内并行用NVLink,跨机并行看IB每卡均摊带宽,均摊等于速率乘链路数除以8。并行策略上把通信密集的维度锁在机内,跨机只走流水线并行,这是公开部署实战验证过的做法。没有IB组网的整机不要用于多机训练。
Q:裸金属千台池值不值得?
A:千台池的意义在确定性而非单价:994台余量意味着扩容、续租、故障迁移都有空间,适合半年以上的长租计划。小池机型单价可能更低,但50台级池子先被吃空的风险要自己承担,把租期与池子规模放在一起评估。
Q:整机折单卡价比容器实例贵,是不是不划算?
A:口径不同。整机月付69120元除以8卡得8640元,高于容器包月7020元,差价买的是独占整机、更高配比与IB组网。纯推理单机任务用实例更省;跨机训练、私有化、数据合规场景只有整机形态能承接,比价要在同形态内比。
Q:H20整机支持一机多租吗?
A:NVIDIA官方vGPU文档列出H20 SXM5 141GB的vGPU切分类型,可将单卡划分为多个虚拟GPU实例,适合内部多团队共用或对外多租。切分会分摊单卡显存与算力,长上下文等显存敏感任务不宜过度切分,具体切分方案以官方文档与实测为准。
查看H20整机当前余量
进入算力市场相关阅读:
标签:算力租赁平台|H20裸金属|跨机训练|NVLink|IB组网