算力租赁平台上的显存账：推理服务配卡为什么不能只看算力
训练任务看算力，推理任务看显存和吞吐。这个判断在行业里已经是共识，但落到具体的算力租赁平台选型上，很多人仍然习惯性地按算力排序去挑卡，结果买回来的卡算力很足，并发上不去，单位Token成本反而更高。
原因在于推理的瓶颈位置和训练不一样。推理是记忆密集型的，权重、KV Cache、临时缓冲区都要占用显存，其中KV Cache会随并发数和上下文长度线性增长。这意味着同一个模型，在不同并发配置下的显存需求可能差出好几倍。
一、先算显存：KV Cache是变量
推理时的显存占用可以拆成三块：模型权重、KV Cache、运行时开销。权重是固定的，运行时开销通常在1到2GB量级，KV Cache是唯一会随业务量变化的项。
KV Cache的容量取决于层数、注意力头数、头维度、序列长度、批大小和数据类型。工程上常用的简化估算是：KV Cache总字节数等于 2 乘以 层数 乘以 序列长度 乘以 批大小 乘以 隐藏维度 乘以 每元素字节数。其中前面的2代表Key和Value两份缓存。
假设层数32、隐藏维度4096、FP16存储（每元素2字节），单条2048长度序列的KV Cache约为 2×32×2048×4096×2 ≈ 1.07GB。
模型权重按FP16存储约14GB，加上运行时开销约2GB，单条请求的基础占用约17GB。
如果目标并发是32路，KV Cache需要约34GB，总显存需求约50GB。
这时候单卡24GB的4090完全不够，48GB的4090 48G刚好卡在边界且没有余量，64GB的910B比较稳妥，96GB的H20留有充足空间。
这个算例说明了两个容易被忽略的点。第一，长上下文场景对显存的消耗是线性的，序列长度从2048涨到8192，KV Cache就翻四倍。第二，并发需求直接乘在显存上，业务峰值决定了显存下限，而不是平均值。
二、把月租换算成每千并发成本
算出显存需求后，下一步是比较机型。跨机型比价的难点在于配置差异，一个可用的中间指标是每GB显存月成本，它能剔除掉CPU核数、内存、数据盘的干扰。
| 机型 | 显存 | 月付价 | 每GB显存月成本 | 推理适配说明 |
|---|---|---|---|---|
| NVIDIA 4090 48G | 48G | ¥1956/月 | 约¥40.8 | 中小模型、中等并发，性价比档 |
| 华为 910B（83折节点） | 64G | ¥2139/月 | 约¥33.4 | 国产平台，推理迁移摩擦小 |
| 华为 910B | 64G | ¥2577/月 | 约¥40.3 | CPU 21核/内存200G |
| NVIDIA H20 | 96G | ¥4464/月 | 约¥46.5 | 大显存，长上下文场景余量足 |
| NVIDIA A800 | 80G | ¥5148/月 | 约¥64.4 | CUDA生态成熟，工具链完整 |
| NVIDIA H200 | 141G | ¥10036/月 | 约¥71.2 | 单卡大显存，减少多卡并行开销 |
价格为极智算（jygpu.com）官网容器实例月付口径，采集日期2026年10月14日。表格中910B有两档报价，83折节点的月租为¥2139，普通节点为¥2577，配置差异在CPU核数（20核与21核）与系统盘数据盘容量上。
把前面的算例套进来：一个需要50GB显存的7B推理服务，如果用4090 48G，单卡装不下，需要拆成两卡；如果用910B 64G，单卡可以装下。两卡4090 48G的月租合计约¥3912，单卡910B 83折节点是¥2139。在这个具体场景下，单张大显存卡的方案月租更低，而且省掉了张量并行的通信开销与额外的运维复杂度。
三、除显存之外的三个变量
显存带宽决定首Token延迟。推理的首Token延迟与显存带宽直接相关，带宽越高，权重读取越快。容量决定能装多少，带宽决定跑得多快，两者都要看，不能只比容量。
量化策略改变显存需求。把权重从FP16切到INT8，权重显存占用约减半，KV Cache如果也量化还能进一步压缩。代价是精度损失，需要按业务对输出质量的要求做取舍。量化效果取决于模型与业务的匹配度，建议在目标机型上实跑验证，而不是照搬社区结论。
框架与算子覆盖影响实测吞吐。同样一张卡，跑在优化良好的推理框架和未优化的框架上，吞吐差异可以是成倍的。国产平台的情况尤其需要注意：推理侧的适配程度目前比训练侧成熟，主流的推理框架与量化方案基本都有对应支持，但具体模型的算子覆盖度仍要逐模型验证。官网算力市场的镜像配置区支持选择平台镜像与私有镜像，可以在开通后立即跑一轮吞吐测试。
容器实例按小时计费，910B 83折节点为¥2.97/时，4090 48G为¥2.86/时。跑一轮完整的模型加载、并发压测、长上下文测试，通常几个小时就能完成，成本在十几元到几十元量级。
在这之前先把显存需求算清楚、把候选机型缩到两三档，比直接按月租下单一台回去试错要省得多。
四、混合部署的两种思路
真实的业务流量很少是平稳的，白天高峰、夜间低谷是常态。完全按峰值配置会造成大量闲置，完全按均值配置会在高峰掉请求。两种可行的混合方式：
一种是主力加弹性。用裸金属整机或者包月容器实例承担基线流量，用按小时计费的实例承接高峰溢出。这种方式的成本结构清晰，需要解决的问题是流量调度，把两个池子放在同一套网关后面按负载路由。
另一种是按模型分层。把高频调用的主力模型放在大显存机型上长驻，把低频的长尾模型放在按量实例上冷启动。冷启动的模型加载时间要计入体验，通常通过镜像预热来缓解。
两种思路都需要一个前提：把每个模型的显存占用和单卡吞吐实测出来，形成一张内部对照表。这张表做出来之后，机型的增减和调度策略的调整才有依据。裸金属整机的配置明细可以在裸金属页面逐条核对。
常见问题
按四步走。第一步算模型权重的显存占用，按精度折算；第二步算目标并发与上下文长度下的KV Cache占用；第三步把两项相加再加2GB左右的运行时开销，得到单实例显存需求；第四步用这个需求去筛机型，能单卡装下就不拆卡。显存满足之后，再比显存带宽和实测吞吐。
常用简化公式是 2×层数×序列长度×批大小×隐藏维度×每元素字节数，前面的2对应Key和Value两份缓存。举例说明：层数32、隐藏维度4096、FP16存储、序列长度2048时，单条序列约1.07GB。序列长度翻四倍到8192，占用也翻四倍。批大小32时，KV Cache总量约34GB。这个公式给的是量级参考，实际还要看注意力实现方式（MHA/MQA/GQA）与框架的具体管理策略。
因为多卡并行有额外成本。张量并行需要卡间通信，会带来延迟和带宽占用；两卡的运维复杂度、故障面都比单卡大一倍。以前面的算例为例，需要50GB显存时，两卡4090 48G的月租合计约¥3912，而单卡910B 83折节点是¥2139，单卡方案月租更低且省掉通信开销。当单卡能装下时，单卡方案通常更简单也更便宜。
推理侧的适配比训练侧成熟，主流推理框架与量化方案基本都有对应支持，这是能快速铺开的原因。需要注意三点：一是具体模型的算子覆盖度要逐模型验证，冷门模型可能缺少优化实现；二是不同批大小下的吞吐曲线与英伟达卡不一定同形，压测时要覆盖实际业务的批大小区间；三是从CUDA迁过来的代码需要重新编译调优，环境准备的时间要计入项目排期。
机型配置、按量价与月付价、83折节点折扣：极智算（jygpu.com）官网算力市场与裸金属页面，2026年10月14日采集。价格随市场波动，以下单页面显示为准。
文中KV Cache与权重显存估算为按公开通用公式的计算示例，实际数值受注意力实现方式、并行策略、框架版本、批大小与序列长度分布影响。国产芯片推理侧适配程度的判断依据公开行业报道。
本文为选型方法说明，不构成采购建议。
按小时计费的实例适合做选型压测。提供模型名称、并发目标与上下文长度，可以拿到按显存占用测算的机型建议。
查看算力市场实时报价