推理业务的账和训练完全不同：训练按任务排期，推理按 QPS 承诺运营。租卡前算不清并发容量，上线后要么响应超时被业务方投诉，要么多租一倍卡白白付钱。本文给出一套上线前的压测流程、一份用官网价格算的显存规划账，以及模型量化后精度掉了怎么补救的路径。所有价格取自官网采集值（采集日期 2026-10-29）。

754.png

一、GPU推理服务的QPS怎么压测：四步流程

第一步定指标。把业务需求翻译成三条：目标 QPS、P99 延迟上限、单条响应的输出长度。常见误区是只压 QPS 不固定输出长度，长输出会成倍拉高解码时间，同一套卡的 QPS 能差数倍。第二步选工具。开源压测框架里 vLLM 自带 benchmark 脚本适合吞吐口径，locust 适合模拟真实请求节奏，两者都要跑，吞吐数字和并发爬坡曲线各说明一件事。第三步爬坡。从低并发起每档保持五分钟再上探，观察两个信号：吞吐曲线何时趋平、P99 何时拐头。趋平点就是这台卡的有效容量上限，拐头点往回退一档才是安全水位。第四步复测。同条件跑三轮取中位数，共享带宽与同节点负载都会引入波动，单轮数据不可信。

压测还要记录温度与功耗，长时间满载触发的降频会让第三轮数据比第一轮低几个百分点，这不是误差而是真实生产状态，写入验收报告反而有价值。另一条容易被忽略的记录是并发上限附近的错误率：从趋平点继续加压，看首字超时与请求失败的比例曲线，生产限流阈值就取错误率开始抬升前的档位，而不是吞吐峰值档位，留出的余量应对流量毛刺。

二、显存规划账：以官网在售档位为例

压测前先算显存上限，判断租几卡。以 32B 模型 fp16 部署为例，权重约 64GB：

实例（采集日 10-29）单卡显存1卡方案2卡方案剩余给KV Cache（2卡）
H20 96G（¥6.20/时）96GB装不下可行192-64=128GB
H200 141G（¥13.94/时）141GB装不下可行282-64=218GB
A800 80G（¥7.15/时）80GB装不下可行160-64=96GB

按每请求 2GB 的 KV 估算口径（估算值，随上下文长度变化），H20 两卡约 64 并发、H200 两卡约 109 并发、A800 两卡约 48 并发。折每路并发的卡时成本：H20 为 12.40÷64≈0.19 元，H200 为 27.88÷109≈0.26 元，A800 为 14.30÷48≈0.30 元。结论是并发密集的对话类业务 H20 两卡最省，长上下文业务 KV 消耗成倍放大后 H200 的大显存才占优。这些是估算起点，压测得出的实际并发可能上下浮动三成，以压测为准。选型时还要看计费粒度：按量 ¥6.20 与包月 ¥4464 折合小时价几乎一致（4464÷730≈6.11），包月的价值是锁定价格与配额，不是单价更低；压测期按量、稳定后转包月，是这类任务的标准节奏。

再算量化空间。32B int8 权重约 32GB，单卡 H20 就装得下且剩 64GB 给 KV，并发反而高于 fp16 两卡方案的一半以上；卡时成本从 12.40 元降到 6.20 元，直接省一半。前提是量化后精度达标，这就进入下一个问题。

753.png

三、模型量化后精度掉了怎么补救

先定位掉在哪。建一套固定评测集（业务真实样本不少于五百条），量化前后各跑一遍，按任务类型分开看：检索问答类对量化最不敏感，数学与代码类掉得最快。常见现象是整体指标只降一两个点，但某类子任务掉两位数，整体均值会掩盖局部塌方。

补救路径按代价从小到大排。一是换量化算法：朴素 PTQ 掉点明显时换 GPTQ 或 AWQ 类算法，通常能收回大半损失，成本只是重新量化一次。二是提高位宽：int8 掉点超预期就退到只对权重做 int8、激活保 fp16 的混合方案，显存代价增加有限。三是量化感知训练（QAT）：用少量业务数据重新训练，掉点通常能压到 1% 以内，代价是几天 GPU 时间，按 4090 48G 按量 ¥2.86/时算，一天训练成本不到 70 元，比多租一张 H20（¥4464/月）划算得多。四是退回 fp16：精度是硬约束的业务（如医疗、风控）直接回退，用上面的显存账重算并发与预算。每条路径都要重新过一遍评测集，不能凭上次结论。

四、规格离散：提速不等于同比例省钱

推理优化后经常遇到「模型快了、账单没降」。原因是实例卡数只有 1/2/4/8 档位。以 8 卡 H20 96G 实例（每卡包月 ¥4464，合计 ¥35712）为例，推理提速近 3 倍后理论卡数 2.67，实际向上取整到 4 卡，月租 ¥17856，降幅 50%，比理论的 66.6% 少 16.7 个百分点。跨型号对照一个样本：A800 80G 实例 ¥7.15/时对 H20 96G ¥6.20/时，H20 便宜 13% 而显存多 16GB，推理场景大多数时候 H20 占优；但 A800 档位对老版本 CUDA 栈和部分国产框架的兼容性更省心，压测前如果环境兼容有问题，兼容性成本要折进总价。把降本预期按档位修正，比按理论值报预算更稳。档位之间的空档可以用「降显存档位」补：提速后如果 24G 消费级卡能承接（如 7B int8 单卡），4090 48G 的 ¥1956/月比 4 卡 H20 更省，代价是单卡并发上限低，需要多实例加负载均衡。负载均衡本身也有成本口径：多实例间走 1000Mb 共享带宽转发，实例分布在不同可用区时内网延迟上升，会吃掉量化的部分收益，压测时按最终部署拓扑再跑一轮，别用单机数据直接外推。

五、上线检查清单

收敛成五条：一是指标三件套（QPS、P99、输出长度）写进压测计划；二是显存账先算后租，按估算并发对齐档位再下单；三是压测三轮取中位数，记录温度功耗；四是量化决策以分类评测为准，警惕整体均值掩盖局部塌方；五是降本预期按规格离散修正。压测环境与生产环境保持同型号同配置，各档位实时价格与库存可在算力市场逐台核对。多机推理或需要独享带宽的场景，看GPU裸金属整机配置的 IB 组网与独享带宽档位。

常见问题

Q：GPU推理服务的QPS怎么压测？
A：定指标（QPS、P99、输出长度）、选工具（吞吐脚本加并发爬坡）、逐档上探找吞吐趋平点与 P99 拐点、三轮取中位数。趋平点回退一档是安全水位。

Q：模型量化后精度掉了怎么补救？
A：先用分类评测集定位掉点位置，再按代价递增换算法（AWQ/GPTQ）、换混合位宽、做量化感知训练，或退回 fp16。每条路径重跑评测，别沿用旧结论。

Q：32B 模型推理租什么卡？
A：fp16 需 64GB 权重，单卡 80G 以上档位装不下，两卡 H20（¥12.40/时）是并发密集场景的省档选择；int8 量化后单卡 H20 可承载，卡时成本减半，前提是量化精度验收通过。

Q：压测数据能直接当生产承诺吗？
A：要打折。压测环境无真实长尾流量，P99 在生产环境通常上浮两成以上。建议按压测中位数的八成设生产限流，超限走排队或扩容。

数据来源与时效：官网容器实例价格采集日期 2026-10-29，以实际下单页面为准。KV Cache 与并发容量为估算口径，实际受上下文长度、批处理策略、框架版本影响，以压测结果为准。

压测选卡前，先看各档位实例的实时价格与剩余库存。

算力市场价格查询

相关阅读

标签：算力租赁平台　推理压测　QPS　模型量化　显存规划