算力租赁平台推理选型：H20 96G月付3571元，能跑多大的模型
做在线推理的团队最常问的一个问题是：一张卡到底能跑多大的模型。这个问题有确定答案，而且可以算出来。以极智算（jygpu.com）9 月 4 日挂牌的 NVIDIA H20 96GB 容器实例为例，时租 7.75 元，月付 8 折后 6.20 元，页面标注的月付参考价约 3,571 元。这篇文章就用这一档配置，把推理场景的显存账从头算一遍。
一、H20 是一张为推理而设计的卡
H20 的参数表看起来有点反常。它的 FP16 算力只有 148 TFLOPS，不到 RTX 4090 的 330 TFLOPS 的一半，显存却有 96GB HBM3，带宽约 4TB/s，还支持 900GB/s 的 NVLink 互联。这种"低算力、大显存、高带宽"的组合，是典型的推理优化思路。
原因不难理解。推理过程里，解码阶段是逐 token 生成的，每个 token 的计算量不大，但要把整个模型权重从显存读一遍。这时候决定速度的是显存带宽，不是峰值算力。H20 的 4TB/s 带宽配合 96GB 容量，可以在单卡上放下一张 34B 模型的完整 FP16 副本，也可以放下一张 70B 模型的 INT8 量化版本。
价格上，SMM 9 月 4 日采集的 H20-96G 整机京津冀包月均价是 7.47 元每卡时，区间 6.77 至 8.16 元；按 720 小时折算，单卡月租约 5,378 元，八卡整机约 4.3 万元。极智算的单卡容器月付参考价 3,571 元，比市场整机包月摊薄价低，差异来自交付形态：容器实例是单卡粒度，整机包月包含网络、存储和运维配套。采购时要按同一口径比，不要直接拿单卡价去对整机价。H20 在推理场景的详细基准，可以参考H20 GPU 租赁指南里的 70B 与 13B 部署分析。
二、推理显存的三笔账
推理时显存被三样东西占据，算清楚这三笔，剩下的就是安全余量。
第一笔是模型权重。FP16 精度下每个参数 2 字节。做 INT8 量化降到 1 字节，INT4 量化降到 0.5 字节。一张 7B 模型 FP16 是 14GB，INT8 是 7GB；70B 模型 FP16 是 140GB，INT8 是 70GB。
第二笔是 KV Cache。这是最容易被低估的一项。自回归生成时，为了避免重复计算，每个注意力头都要缓存已生成 token 的 Key 和 Value。计算公式是：KV Cache 字节数 = 2 × 层数 × 隐藏层维度 × 2 字节 × 序列长度 × 并发数。以常见的 7B 架构为例，32 层、隐藏维度 4,096，单个 token 的 KV 占用就是 2 × 32 × 4,096 × 2 约等于 524KB，也就是约 0.5MB 每个 token。一条 2,048 token 的请求占 1GB，并发 8 路就是 8.4GB。
并发一上来，KV Cache 就吃掉了大半显存。这也是为什么很多团队发现：单卡测试时跑得很好，一上并发就 OOM。规划容量时，把 KV Cache 按峰值并发算，不要按平均并发算。
第三笔是激活值和框架开销。通常留 1 到 2GB，视推理框架而定。vLLM 的 PagedAttention 会额外占用一部分用于块管理。
三、96GB 能装下什么：四个规模的实际推演
| 模型 | 精度 | 权重占用 | 剩余显存（96GB 单卡） | 可支撑并发（2048 token） |
|---|---|---|---|---|
| 7B | FP16 | 14GB | 约 80GB | 理论很高，实际受算力限制 |
| 13B | FP16 | 26GB | 约 68GB | 数十路并发 |
| 34B | FP16 | 68GB | 约 26GB | 中等并发，KV 空间偏紧 |
| 70B | INT8 | 70GB | 约 24GB | 有限并发，需控制上下文长度 |
| 70B | FP16 | 140GB | 单卡放不下 | 需 2 卡张量并行 |
说明：权重占用按标准字节数计算；并发数为理论估算，实际吞吐受算力、批处理策略和框架实现影响，建议以压测结果为准。
表里最值得注意的一行是 34B。FP16 权重 68GB，剩 26GB 给 KV Cache，按 2048 token 每路约 1.6GB 估算，大概能支撑十几路并发。这个数字对多数企业级内部应用是够用的，但对公开服务就偏紧。要么做量化，要么加卡。
70B FP16 需要两张 H20 做张量并行。好消息是 H20 支持 900GB/s 的 NVLink，双卡通信损耗很小，比用 PCIe 互联的卡强得多。两张 H20 按极智算的月付参考价算是 7,142 元，这个成本对持续运行的 70B 在线服务来说是可以接受的。
四、和另外几张卡的成本对照
| 方案 | 单卡显存 | 月付成本 | 每 GB 显存月成本 | 适合的模型 |
|---|---|---|---|---|
| RTX 4090 容器 | 24GB | 约 ¥1,074 | 约 ¥44.8 | 7B FP16 / 13B 量化 |
| 昇腾 910B 容器 | 64GB | 约 ¥2,397 | 约 ¥37.5 | 13B-30B FP16 |
| NVIDIA H20 容器 | 96GB | 约 ¥3,571 | 约 ¥37.2 | 34B FP16 / 70B INT8 |
| A100 80G（SMM 折算） | 80GB | 约 ¥4,500 | 约 ¥56.3 | 30B-70B，训练兼推理 |
前三行数据来源：极智算官网 2026-09-04 挂牌价与月付参考价。第四行：SMM 9 月 4 日 A100-80G 整机长三角包月均价 6.25 元每卡时，按 720 小时折算，仅供量级参考。
"每 GB 显存月成本"这个指标在纯推理场景里比时租更有参考价值。910B 和 H20 都落在 37 元出头，4090 是 44.8 元，A100 折算下来 56.3 元。看起来 910B 和 H20 性价比接近，但两者有个关键区别：H20 有 4TB/s 的 HBM3 带宽，910B 是 HBM2e，带宽低一档。在解码密集的长文本生成场景，这个差距会直接体现在每个 token 的延迟上。
4090 虽然单位显存成本略高，但它的绝对价格低，7B 模型单卡就能跑，月付 1,074 元。对预算有限、模型规模不大的团队来说，这仍然是最实际的入口，具体能撑到什么规模可以看RTX 4090 服务器租用的规格边界。
五、什么时候不该选 H20
H20 不是万能解。有三种情况选它是浪费。
第一，做训练。148 TFLOPS 的 FP16 算力做训练效率太低，同样的钱在 910B 上能拿到 320 TFLOPS，在 H100 上能拿到 989 TFLOPS。训练场景请直接跳过 H20，改看910B×8 与 H100×8 的裸金属训练方案对比。
第二，模型小于 7B。7B 模型 FP16 只要 14GB，4090 的 24GB 就够，时租 1.96 元对 7.75 元，成本差 4 倍。小模型上大卡，显存空着也是浪费。
第三，离线批处理。如果业务是离线跑批、对延迟不敏感，那显存带宽的价值就体现不出来，用更便宜的卡堆批大小反而更划算。H20 的溢价买的是低延迟，离线场景不需要。
六、推理部署的几个实操建议
先压测，后扩容。理论并发数和实际吞吐经常对不上，不同框架的实现差异很大。建议用容器实例按小时租一台，跑一轮真实流量的压测，拿到 QPS 和 P99 延迟曲线再决定规模。极智算的容器预置了 vLLM、PyTorch 等环境，可以直接部署，从开机到跑通模型的完整流程这篇有分步骤说明。
注意配套内存。H20 那款容器配的是 128GB 系统内存。如果做多实例部署或者数据预处理压力较大，内存可能先于显存成为瓶颈。下单前确认能否调整规格。
把数据盘考虑进去。H20 容器默认 50GB 数据盘对推理服务是够的，但如果要本地缓存多个模型权重，一张 70B 的 FP16 权重就是 140GB，必须额外挂载存储。这一点在下单前确认，能省掉后面迁移的麻烦。
关注价格波动。SMM 记录显示，H20-96G 在京津冀的最高月租曾在 9 月 1 日单日上涨 11.90% 到 47,000 元一台。这个型号的价格弹性比想象中大，如果用量稳定，可以考虑按月或更长周期锁定。八卡整机方案的价格见裸金属专区。
常见问题
Q1：H20 显卡租用价格大概是多少？
以极智算 2026 年 9 月 4 日挂牌价为例，H20 96GB 容器实例时租 7.75 元，月付 8 折后 6.20 元每小时，月付参考价约 3,571 元。市场参照方面，SMM 同期采集的 H20-96G 整机京津冀包月均价为 7.47 元每卡时，区间 6.77 至 8.16 元。按天计费的行情对照，可以参考算力租赁收费标准汇总。
Q2：一张 H20 96GB 能跑 70B 模型吗？
FP16 精度下不行。70B 模型 FP16 权重约 140GB，超出单卡容量。做 INT8 量化后权重降到约 70GB，单卡可以承载，剩余约 24GB 用于 KV Cache，并发能力有限。如果需要 FP16 精度或者更高并发，用两张 H20 做张量并行，NVLink 900GB/s 的互联带宽能保证通信损耗可控。
Q3：KV Cache 为什么会吃掉这么多显存？
因为它是随并发数和上下文长度线性增长的。7B 模型单个 token 的 KV 占用约 0.5MB，一条 2,048 token 的请求就是 1GB，并发 8 路约 8.4GB。长上下文场景下这个数字会更大，32K 上下文的单请求就可能占 16GB。规划容量时一定要按峰值并发和最大上下文长度算，不能按平均值。
Q4：推理服务该用容器实例还是裸金属？
在线推理通常不需要 IB 组网，容器实例就够用，而且按小时计费的弹性更适合流量波动的业务。裸金属的价值在物理隔离和多卡互联，合规要求高或者要做多机推理集群时才需要考虑。成本上，单卡每月使用超过 500 小时左右，裸金属开始有价格优势，具体的分界算法见按小时租还是按月租。
Q5：量化会损失多少效果？
取决于量化方法和任务类型。INT8 权重量化在多数生成任务上的损失很小，通常难以察觉；INT4 会有明显退化，需要配合 GPTQ、AWQ 这类后训练量化方法，并且要在自己的业务数据上做评测。建议的做法是先跑一轮业务相关的评测集，确认指标可接受再上线。
1. 极智算容器实例挂牌价与配置：jygpu.com 算力市场，2026-09-04。
2. H20 技术规格：NVIDIA 公开技术文档。
3. 市场行情价：上海有色网 SMM 算力专区 2026-09-04 报价及快讯。
4. 显存与并发估算为工程通用口径，实际结果受模型架构、推理框架、量化策略影响，请以压测为准。