多卡分布式训练的性能瓶颈不在算力，在卡间通信。单机多卡靠NVLink，多机集群靠RDMA（IB网络）。租算力时不确认这两项，8卡可能跑不出2卡的效率，钱白花。

文章17配图.png

一、核心答案

层级互联方式带宽参考用途
单机多卡NVLink约600GB/s（A100）/900GB/s（H100）8卡内高速通信
多机互联RDMA/IB网卡400Gb/s起步跨节点同步梯度
普通网络以太网10～100Gb/s多机训练会成瓶颈

数据来源：NVIDIA官方产品资料。

租训练机器的最低要求：裸金属整机必须带NVLink，多机集群必须带IB网卡。JYGPU官网裸金属标配NVLink+IB。

二、为什么通信比算力更关键

分布式训练每次迭代都要把所有卡的梯度汇总同步（AllReduce），卡越多通信量越大。NVLink带宽是PCIe的几十倍，IB网络是普通以太网的几十倍。通信慢了，GPU算力再好也在等数据，整体效率断崖式下降。

三、具体怎么选、怎么验

  1. 确认配置：下单前问清是否带NVLink、IB网卡、什么速率。
  2. 测通信：用nccl-tests工具测卡间带宽和延迟，和理论值对比。
  3. 测扩展性：跑一个真实训练脚本，对比1卡、4卡、8卡吞吐，看是否接近线性提升。
行业经验：8卡训练如果扩展效率（8卡吞吐÷单卡吞吐）低于70%，先查通信配置——大概率是网络或NVLink没到位。

四、不同场景怎么选

单机8卡训练（大多数团队）：选带NVLink的裸金属整机即可，如4090×8或H100×8。

多机集群训练（大模型）：要求IB网卡+高速存储，确认集群内网拓扑。

小模型/推理：单卡或按小时云GPU就够，不用为通信买单。

训练团队可以在 JYGPU 裸金属专区选择带 NVLink + IB 网卡的整机配置，按8卡整机按月开通。

五、常见问题

1. 4090有NVLink吗？

RTX 4090不支持NVLink，多卡只能走PCIe，通信带宽远低于数据中心卡，不适合多卡训练。

2. 多机训练必须用IB网络吗？

严格说不是"必须"，但不用IB的话，普通以太网的带宽会成为严重瓶颈，多机扩展效率极低。

3. 怎么测卡间通信速度？

用nccl-tests跑all-reduce测试，对比理论带宽，偏差大说明配置或拓扑有问题。

4. 租裸金属怎么确认是NVLink？

看配置单是否写明NVLink；交付后用nvidia-smi topo -m查看卡间拓扑，或用nccl-tests实测。

六、相关阅读

数据来源与说明

  • NVLink、IB带宽参数来自NVIDIA官方资料。
  • 扩展效率阈值（70%）为行业经验值。