多卡互联到底多重要？NVLink和IB网卡说清楚
一、核心答案
NVLink 是卡间高速互联，负责单机内多卡通信；IB（InfiniBand）是机间网络，负责多机集群通信。8 卡训练两者都重要，多机训练必须配 IB，单机多卡可以只靠 NVLink。
二、为什么互联决定训练效率
多卡并行训练时，卡之间要频繁交换数据。张量并行每算一步就要同步一次，数据并行每个批次也要聚合梯度。通信等待的时间，就是算力闲置的时间。
拿数据说话：PCIe 4.0 x16 单向带宽约 32GB/s，NVLink 4.0 单卡双向约 900GB/s。张量并行在 NVLink 下几乎无感，走 PCIe 就会明显拖慢。跨机场景，普通万兆以太网（约 1.2GB/s）和 200G IB（约 25GB/s）的差距是数量级的。
三、具体怎么判断和选择
判断网络够不够用，分单机和多机两种情况看：单机看 NVLink 拓扑，多机看 IB 带宽。
单机内：看拓扑
8 卡服务器有两种常见拓扑：
- 全互联（NVSwitch）：任何两张卡都能直连，张量并行首选。
- 部分互联（如 4+4）：只有组内卡全速，跨组通信慢，适合数据并行。
下单前要平台给拓扑图，或自己 nvidia-smi topo -m 查。训练任务一定要全互联。
跨机：看网络
多机集群选择优先级：IB（如 200G/400G）> RoCE（高速以太网）> 普通万兆网。租算力时直接问清楚机间网络规格，别被"千兆组网"糊弄。
四、不同场景下怎么选
不同规模的任务，组网方案完全不同：按机器数量和模型规模定，别盲目上 IB。
单机 8 卡训练
重点确认 NVLink 全互联。这是 8 卡方案里最容易被忽略、也最影响性能的一项。
多机集群训练
IB 网卡是标配，同时看交换机规格和网络拓扑。正规算力平台会提供现成的集群组网方案，比自己攒省钱省事。
推理服务
单卡或双卡推理对互联要求不高，把钱花在显存上更值。别为用不上的 IB 买单。
如果你的训练任务已经明确要多卡集群，可以按"单机互联拓扑 + 机间网络带宽"两个指标去 JYGPU 选裸金属或多机方案。查看 JYGPU 集群算力方案
五、常见问题
NVLink 是卡间的直连通道；NVSwitch 是一个交换机芯片，把 8 张卡的 NVLink 全连通，实现任意卡间全速通信。可以理解成：路是 NVLink，路口的立交桥是 NVSwitch。
不需要。单机训练、单卡推理都不涉及跨机通信。只有多机集群才需要 IB，别被"标配 IB"的话术带偏。
跑 nccl-tests，对比测试结果和该机型网络规格是否匹配。通信带宽明显偏低，直接找平台处理。