推理并发怎么估：算力租赁平台选卡前的KV Cache显存账
推理选卡和训练选卡的逻辑不同。训练看权重加梯度，推理则是权重占大头、KV Cache 决定能同时服务多少请求。很多团队按权重选完卡，上线之后发现并发上不去，问题就出在没算 KV Cache 这一段。这篇文章给一套可以在下单前算完的估算方法，并用官网 10 月 27 日采集的实时租价，把 32B 和 70B 两个主流推理档位算成具体的并发数字。
一、显存三段式：权重、KV、开销
推理显存可以切成三段。权重段：模型参数乘以精度字节数，fp16 是 2 字节每参数，int8 减半，4bit 再减半。KV Cache 段：每一路在处理的请求都要为历史 token 缓存键值对，长度随上下文增长，长上下文场景这一段可以反超权重。开销段：推理框架、CUDA 上下文与临时缓冲，通常按一两个 GB 起估。
一个可以直接套用的算例：32B 模型 fp16 权重约 64GB，装进 H20 96G 单卡后剩余约 32GB。按每路请求 KV Cache 约 2GB 的粗估口径，理论并发约 16 路。这个数字是估算口径、非实测值，实际受上下文长度、批处理策略与框架实现影响，但足以回答选卡阶段的问题：这卡能撑多大并发。
上下文长度对这段账的影响比参数量更大。KV Cache 随上下文线性增长，同一个模型把上下文从 4K 拉到 32K，每路请求的 KV 占用大约放大 8 倍，前面那个每路 2GB 的假设系数就不再成立，可能要按十几 GB 一路来算。文档问答、长代码分析这类业务，估算时先把目标上下文长度定下来，再取 KV 系数，否则并发数会差出一个数量级。
二、单卡装不下70B的算例
70B 模型 fp16 权重约 140GB。H200 141G 单卡对这组数字只多 1GB，连框架开销都放不下，单卡方案直接排除，这就是显存下限的硬约束。可行配置是 2 卡 H200 合计 282GB：权重 140GB 之外剩约 142GB，扣除框架开销后按每路 2GB 估算，理论并发上限约 60 路，再给激活与波动留余量，实际按 40 路上下做容量规划更稳。
成本上，H200 141G 实例按量 13.94 元/时，2 卡即 27.88 元/时，包月口径 10036 元乘 2 为 20072 元。如果并发需求只有个位数，同样的模型换 4bit 量化后权重约 35GB，单张 4090 48G（按量 2.86 元/时）就能承载，KV 与并发虽窄但够用，月成本差出 7 倍。量化不是万能，精度要按业务验证，但选卡阶段必须把它列入候选。
量化还能改变卡数结构。70B 模型 int8 权重约 70GB，H200 141G 单卡装下后剩约 70GB，扣掉开销按每路 2GB 估算，单卡即可支撑 30 路上下的并发，成本 13.94 元/时；fp16 方案需要 2 卡，27.88 元/时。从 2 卡到 1 卡，省下的是整卡租金，付出的精度损失要在业务侧验证。同型号卡通过量化改变配置档位，是推理降本里性价比靠前的一步。
| 实例 | 显存 | 按量 | 包月 | 可载权重（fp16） |
|---|---|---|---|---|
| 3090 24G | 24GB | 1.45 元/时 | 1044 元 | 7B int8 / 7B 4bit 加KV |
| 4090 24G | 24GB | 1.57 元/时 | 1073 元 | 7B 4bit |
| 4090 48G | 48GB | 2.86 元/时 | 1956 元 | 32B 4bit / 14B int8 |
| H20 96G | 96GB | 6.20 元/时 | 4464 元 | 32B fp16 加KV |
| H200 141G | 141GB | 13.94 元/时 | 10036 元 | 70B 需 2 卡 |
表中价格采集自极智算官网 10 月 27 日，当天除 910B 外的实例档位均处于已租完状态，配额随节点释放动态变化。各档位实时库存与价格可在算力市场实时价目查询，实际价格根据GPU型号、租赁周期、资源配置动态调整，以官网实时价格为准。
三、并发、延迟与档位墙
并发不是越大越好。批处理把多路请求拼成一个批次，吞吐随批次上升，但首 token 延迟同步变差。在线客服类场景对首响应敏感，并发要压在延迟达标线之内；离线批量生成可以放宽延迟换吞吐。同一个模型在不同业务里合理并发不同，容量规划要按业务的延迟目标反推，而不是按显存上限顶满。
卡数档位也有一道墙。实例卡数按 1、2、4、8 档位取整，推理提速或量化之后，理论卡数要向上取整。以 8 卡 H20 96G 承载的推理服务为例，模型量化把每卡负载降到三分之一后，理论 2.67 卡，实际只能选 4 卡，成本降 50% 而不是理论的 66%。规格离散是推理降本打折的主要原因，预算时按取整后的档位算。
KV Cache 本身也有压缩空间。KV 量化、页式显存管理与前缀缓存都是成熟方向，长上下文场景收益明显。这些手段改变的是每路请求的 KV 占用，估算口径里那个每路 2GB 的系数会随之下降，上线前用真实流量回放测一遍，比按理论值扩容划算。
前缀缓存也值得单列。多轮对话与固定系统提示词的场景里，相同前缀的 KV 可以复用，公共部分的显存只占一份，对客服、助手类业务能省下可观的 KV 空间。框架是否开启这类能力、命中率多少，直接改写并发估算的输入，容量规划前先把框架参数核一遍。
四、选卡流程的三步建议
一是先按权重定卡，把框架开销和 KV 余量一起算进去，权重占比超过七成的配置直接放弃。二是再按并发验 KV，用业务的目标延迟反推并发需求，确认候选显存装得下。三是最后按档位取整，比较相邻档位的价差与余量，留出至少 1.5 倍峰值并发的缓冲。
长上下文业务（如文档问答、长代码分析）要把上下文长度乘进 KV 估算，上下文翻倍 KV 翻倍，这类业务优先选大显存档位而不是多卡切分。多模态业务的图像 token 同样占 KV，估算时按文本 token 的数倍计。
多机推理需要考虑整机与 IB 组网时，整机配置与挂牌价可在GPU裸金属整机报价逐台核对。容量规划完成后，先以按量实例压测一轮真实流量，再决定长租配置。
压测建议用真实流量回放而不是合成请求：按线上请求的上下文分布抽样回放，观察 P99 首 token 延迟与 KV 显存水位两条曲线，水位贴着警戒线运行时开始扩容。合成请求的上下文均匀分布，测出来的并发上限通常偏乐观，上线后第一个流量高峰就会打穿。
常见问题
Q：大模型推理并发数怎么估算？
A：可用显存减去权重与框架开销，剩余部分除以每路请求的 KV Cache 占用，就是理论并发。每路占用按上下文长度估算，结果再按业务延迟目标与波动余量打折。
Q：GPU推理显存不够怎么办？
A：按顺序尝试：模型量化降低权重占用、KV 量化与页式显存管理压缩缓存、缩短单路上下文或限制最大并发、升档大显存机型。多数情况下前三步就能解决，不必直接换卡。
Q：为什么并发加到某个数之后延迟突然恶化？
A：KV Cache 显存打满后，框架开始排队或换出，延迟出现拐点。行业经验是按 KV 峰值占比四成设警戒线，提前扩容比线上降级体验好。
Q：推理用实例还是整机？
A：单机 8 卡以内、并发可预估的推理用实例，弹性与成本都占优；需要独享网络、大本机存储或与其他训练任务混部的场景再考虑整机。
数据来源与时效
- 并发估算算例：基于业界通用的显存分段估算方法，标注为估算口径、非实测值。
- 档位墙与权重七成、KV 四成两条经验线：行业经验值，非规范要求。
- 官网价格与库存：极智算官网，2026-10-27 采集，价格随市场波动，以实际下单页面为准。
想按显存与价格对比推理档位，可以查看算力市场。
算力市场价格查询相关阅读
标签：算力租赁平台 ｜ 推理并发 ｜ KV Cache ｜ GPU选卡