算力租赁平台超节点选型:256TB统一内存的适用边界
2026年10月15日,首套1024卡Atlas 950 SuperPoD液冷超节点点亮,公开参数是1 EFLOPS FP8、2 EFLOPS FP4,256TB全局统一内存,卡间互联带宽TB级,端到端通信时延3微秒。同一天完成了对阶跃星辰Step 5 Preview的0Day适配。
这组参数里,256TB最容易引起误解。很多人第一反应是「能装更大的模型」,但主流模型的权重根本没有这么大。这256TB究竟是干什么用的,直接决定了什么样的负载该租超节点、什么样的负载租八卡整机就够。
一、256TB 装的不是模型,是地址空间
算一下量级就清楚了。一个70B参数的模型按fp16存储,权重约140GB。即便算上KV Cache和激活值,单实例占用通常也就几百GB量级。和256TB相比,占比不到千分之一。
传统多机训练里,每台机器有独立的显存,跨机访问要显式走通信库,代码要处理分片、同步、梯度聚合。统一编址把多台服务器的内存与显存拼成一个地址空间,程序看到的是一个巨大的节点。原来要写通信逻辑的地方,现在可以直接按地址访问。
这也是3微秒时延的意义。跨机访问如果和机内访问差两个数量级,统一编址就没有意义,因为程序会被通信拖死。3微秒已经接近机内总线的量级,才让「像单机一样编程」这件事成立。
对租户的实际影响是显存墙的位置变了。过去判断能不能跑,看单卡显存;现在可以看统一内存的总量。一个单卡放不下、又不想写复杂并行代码的模型,在超节点上可以用更直接的方式跑起来。
二、三条判据,决定要不要上超节点
超节点的单价远高于普通整机,用错场景的代价很大。下面三条判据按顺序过,任意一条不满足就没必要上。
第一条,单机八卡放不下。如果模型权重加KV Cache能塞进一台八卡整机,超节点的优势发挥不出来。以141G显存的H200为例,八卡合计1128GB,70B模型fp16完全够用;即便是数百B参数的模型,用多台整机做流水线并行也能跑。
第二条,跨机并行是瓶颈。当模型必须切到多台机器上做张量并行时,机间通信成为主要开销。这时候高带宽低时延的互联才有价值。如果负载只是数据并行,各卡各跑一份,通信量小,普通IB组网足够。
第三条,长上下文或大专家并行。KV Cache随序列长度线性增长,超长上下文场景下显存消耗会超过权重本身。MoE结构的专家并行也会带来大量跨卡交换。这两类负载对统一内存与低时延互联的需求最直接。
| 负载类型 | 建议形态 | 不必上超节点的理由 |
|---|---|---|
| 单模型在线推理 | 八卡整机或容器实例 | 单机显存够,弹性更重要 |
| 中小规模微调 | 八卡整机 | 数据并行即可,通信量小 |
| 大模型全参训练 | 多机IB组网或超节点 | 需评估并行策略与通信占比 |
| 超长上下文推理 | 超节点优先 | KV Cache 是主要瓶颈 |
| MoE 大专家并行 | 超节点优先 | 专家交换对时延敏感 |
三、每G均摊带宽的月租是多少
超节点的溢价有多少花在互联上,可以用一个比值来看:整机月付价除以每卡均摊的互联带宽。这个指标不完美,但能横向比较不同档位的互联成本。
| 机型(区域) | 月付价 | IB 与每卡均摊 | 折合单卡 |
|---|---|---|---|
| H20 96G(四川三区) | 45600 元 | 400G×4,均摊 200G | 5700 元 |
| H200 141G(陕西一区) | 151920 元 | 400G×8,均摊 400G | 18990 元 |
| B300 288G(四川一区) | 392000 元 | 800G×10,均摊 1000G | 49000 元 |
按每G均摊带宽的月租算,H20约28.5元,H200约47.5元,B300约49元。H200与B300几乎持平,说明在高端档位,互联已经按带宽比例定价,不再是打包赠送的部分。
这个结论对选型有直接用处:需要多机训练时,先按「每卡需要多少互联带宽」定档,再看哪个机型落在这个区间。反过来先看机型再补带宽,往往要在合同里追加交换设备,时间成本更高。
四、超节点的交付节奏在加快
规模上,华为已实现从384卡到8192卡的集群升级,下一代960超节点将首发NPO方案,支持扩展至4096卡。落地上,10月16日中国电信与华为在内蒙古落地全球首个昇腾950DT万卡池,同日中国移动在北京落地千卡超节点。
工程侧的节奏也可以参考。弘信电子与华为在10月19日举行昇腾950集群首批设备交付仪式,计划10月23日前完成首批服务器到货,10月28日前完成集群点亮,10月30日前完成全量上线验收。从到货到全量验收给出的是明确日历,这说明交付流程已经标准化。
标准化对租户是好消息。过去超节点交付依赖项目制,排期不可预期;形成标准流程后,起租日可以往前推算。需要核对具体在架机型与整机配置,可以查看算力市场实时报价与裸金属整机明细。
常见问题
它是跨服务器的统一地址空间,用法上和单机内存类似,但访问延迟仍有层级差异。离得近的访问快,跨机访问慢一些,只是这个差距被压到了3微秒量级。写程序时仍要考虑数据局部性,把所有数据当本地内存用会浪费互联带宽。
主要在编程模型和通信开销。八卡整机做多机训练,需要自己处理跨机通信、分片策略和故障恢复,调优工作量不小。超节点把这些封装掉了,代价是单价更高、可选规模受限。团队有没有并行训练的工程能力,是决策的关键变量。
取决于并行策略。张量并行每一步都要做跨卡规约,时延直接乘进每一步的耗时,影响明显。数据并行只在梯度同步时通信,占比小。所以同样硬件,不同并行策略下的实际性能差距可能很大,评估时要按自己的策略测。
先比可得性,再比能力。国产超节点的交期明显更短,部分项目给出的是按周到按月的日历;英伟达整机柜方案的公开交期在12至15个月量级。能力上要按负载测,尤其是软件栈的算子覆盖度,这一项对迁移成本的影响往往超过硬件参数。
Atlas 950 SuperPoD 1024卡超节点参数与点亮时间:2026年10月15日,上海有色网快讯。
昇腾950DT万卡池、千卡超节点落地:2026年10月16日公开报道。
960超节点NPO方案与4096卡扩展:公开报道。
弘信电子昇腾950集群交付节点:企业公开信息,2026年10月22日。
机型配置、IB参数与价格:极智算(jygpu.com)官网裸金属页面,2026年10月23日采集。价格随市场波动,以下单页面显示为准。
每G均摊带宽月租为月付价除以每卡均摊带宽的四则运算,仅用于量级比较,不构成性价比排序。
本文数据用于行业分析,不构成采购建议。
说明模型参数量、上下文长度、并行策略与训练规模,可以判断八卡整机是否够用,以及超节点的必要性。
查看算力市场实时报价