单卡还是多卡？算力租赁平台的 GPU 卡数选择与并行效率边界
租 GPU 时最常被跳过的一步，是算清到底需要几张卡。很多人习惯先按预算挑型号，再看能不能跑起来，结果要么显存不够反复调参，要么租了 4 张卡但只用到 1 张半，多出来的部分变成纯粹的浪费。
卡数不是一个直觉问题，它由三个量决定：模型的显存需求、任务的并行策略、以及卡间通信能承受多大开销。这三个量算清楚，卡数基本就定了。而算不清楚，无论租多租少都会亏。
一、先算显存：什么时候单卡一定不够
显存需求的算法在推理和训练两个场景下差别很大，先分开看。
推理场景相对简单，主要占用来自模型权重、KV Cache 和框架开销。以 FP16 精度为例，权重占用约等于参数量乘以2字节：7B 模型约14GB，13B 约26GB，32B 约64GB，70B 约140GB。KV Cache 会随并发数和上下文长度线性增长，长上下文场景下这部分可能追平甚至超过权重。
训练场景复杂得多。混合精度训练除了权重，还要存优化器状态和梯度，业内常用的经验估算是显存需求约为参数量的16到20倍。按这个口径，7B 模型全量微调的显存需求会落在一百多 GB，单张 80G 卡放不下。
显存估算为什么必须留余量
上面的系数是估算值，实际占用受框架版本、序列长度、batch size 和是否开启梯度检查点影响很大。按估算值贴着上限选卡，通常会在压测阶段出现显存溢出。工程上的做法是按估算值再留出20%以上的余量，或者先选可升配的规格，跑通后再固定。
| 任务形态 | 显存估算口径 | 卡数起点 |
|---|---|---|
| 7B 级模型推理（FP16） | 权重约14GB，加 KV Cache 与框架开销 | 1 张 24G 起，长上下文建议 48G |
| 32B 级模型推理（FP16） | 权重约64GB | 1 张 80G，或 2 张 48G 做张量并行 |
| 70B 级模型推理（FP16） | 权重约140GB | 2 张 80G，或 4 张 48G |
| 7B 级全量微调 | 按参数量16到20倍估，需一百多 GB | 2 张 80G 起，并配合 ZeRO 类优化 |
二、多卡不等于显存简单叠加：三种并行策略
确定了需要多卡之后，下一个问题是这些卡怎么协作。常见的三种并行策略，对互联带宽的要求完全不同，这直接决定了卡该放在一台机器里还是分散在多台机器上。
数据并行。每张卡持有一份完整的模型副本，各自跑不同的数据批次，在反向传播后同步梯度。它对显存没有缓解作用，因为每张卡都存了完整模型。它的价值在提升吞吐，代价是每步都要做一次梯度同步，通信量大致与参数量同阶。
张量并行。把单个算子内部的矩阵切开放到不同卡上，每层都要通信。这是对互联带宽要求最高的一种，通常只在单机内通过高速互联使用，一旦跨机，性能损耗会明显变大。
流水线并行。按层切分，不同卡负责模型的不同层段，只在层与层的边界传激活值。通信量比张量并行小得多，因此更适合跨机使用，代价是会产生流水线气泡，需要靠微批次调度去填。
把互联带宽的量级摆出来会更直观。据今日头条10月11日报道，中国移动北京分公司联合移动云落地昌平的华为昇腾950DT千卡超节点，单节点1024卡，FP8 精度算力1 EFLOPS，内存带宽4TB/s，卡间互联带宽2TB/s。这类超节点的设计目标很明确，就是把大规模训练中数据在芯片之间搬运的开销压下去。
反过来看容器实例。官网的容器实例规格支持按卡数选择，以华为 910B 64G 为例，可选1卡/64G、2卡/128G、3卡/192G、4卡/256G。同一实例内的多卡共享机内互联，适合张量并行这类高带宽需求；如果业务需要用流水线并行跨机扩展，就应该直接看裸金属整机的组网配置。
三、多卡实例还是整机：折合单卡成本怎么算
一个容易被忽略的比较维度是把整机价格折算到单卡。裸金属整机按台按月报价，看似比容器实例贵很多，折算到每张卡之后结论可能反转。
| 型号 | 容器实例单卡月价 | 裸金属 8 卡整机月价 | 整机折合单卡 |
|---|---|---|---|
| NVIDIA 4090 24G | ¥1073（95折） | ¥9200（四川二区） | 约 ¥1150/卡 |
| 华为 910B 64G | ¥2577 | ¥18800（湖北一区） | 约 ¥2350/卡 |
| NVIDIA H20 96G | ¥4464 | ¥45600（四川三区） | 约 ¥5700/卡 |
| NVIDIA A100 80G | — | ¥41600（四川三区） | 约 ¥5200/卡 |
| NVIDIA H100 80G | ¥9345 | ¥88480（宁夏一区） | 约 ¥11060/卡 |
把这张表读细一点，会发现结论是分型号的。华为 910B 64G 的整机折合单卡价比容器实例低，适合长期稳定占用整机的场景；H100 80G 则相反，容器实例单卡更便宜，因为整机包含了独享带宽、完整 CPU 与内存资源以及多卡互联能力，这些在容器实例里是按卡切分配置的。
所以判断标准不该是哪个绝对便宜，而是你的任务吃不吃这些额外资源。如果只需要一张卡拉推理，整机的大半 CPU、内存和带宽都会闲置；如果要做 8 卡张量并行训练，容器实例就不合适，必须上整机。
卡数选择的第三笔账：闲置成本
多租一张卡的边际成本是明确的，但多租一张卡带来的收益需要靠利用率兑现。如果并行效率只有六成，相当于多付的那部分钱有一小半没有转化为算力。所以卡数要到能跑通的最少数，而不是一次配到最舒服。
四、卡数选型清单
把上面三部分收敛成一份可直接执行的清单。
第一步，算显存下限。推理按参数量乘以2字节估权重，再按并发数和上下文长度估 KV Cache；训练按参数量乘以16到20估总量。得出下限后留出20%余量。
第二步，判断能不能单卡解决。能单卡解决就不要多卡，因为并行一定带来通信开销和调度复杂度，而单卡零开销。
第三步，确定并行策略再定卡数。显存不够但算子级切分有收益，用张量并行，控制在单机内；模型层数多、想跨机扩展，用流水线并行；只是想提升吞吐且显存够用，用数据并行。
第四步，对比容器实例与整机的折合单卡价。在 算力市场 上，裸金属页面会标注机型所属区域与整机月租，容器实例页面标注单卡价格与折扣节点，两边折算后按任务实际占用面选择。
第五步，先跑通再固定规格。绝大多数项目第一版配置都不会是最优解，先用按量计费跑通，拿到真实的显存峰值和利用率数据，再决定包月还是整机包年。
常见问题
两张 24G 卡能跑一张 48G 卡的任务吗？
显存总量够了，但不等于能跑。单张卡的模型必须完整放进单卡显存，两张卡则需要把模型切开，就要承担并行通信开销和适配成本。如果 48G 单卡能放下，优先用单卡。
容器实例最多能选几张卡？
官网容器实例的 GPU 数量选择器提供1卡、2卡、3卡、4卡四档，显存相应按倍数叠加。需要 8 卡及以上的多卡互联，应转向裸金属整机。
多卡之后速度一定会变快吗？
不保证。数据并行提升吞吐，但对单步延迟基本没有改善；张量并行能降低单步延迟，但通信开销会吃掉一部分收益。如果瓶颈在数据加载或 CPU 预处理，加卡解决不了问题。
怎么判断并行效率是不是太低？
看扩展效率，也就是加卡后的实际吞吐与理论倍数之比。同时观察 GPU 利用率和通信等待时间占比。如果利用率长期偏低而通信等待偏高，说明卡数已经超过了当前互联能力能支撑的范围，应该减少卡数或调整并行策略。
数据来源与时效
官网价格与配置采集于2026年10月12日，来源为极智算官网容器实例页面与裸金属页面。整机折合单卡价格由整机月租除以8得出，为计算值，未含任何隐含折扣。行业数据来源：今日头条（10月11日中国移动北京分公司昇腾950DT千卡超节点落地昌平信息港）。显存估算是通用经验口径，实际占用随框架版本与模型结构变化，请以实测为准。价格随市场波动，以实际下单页面为准。