算力租赁平台H20和H100怎么分工:4TB每秒带宽改写长文本解码
H20 141G 按量 13 元每小时,H100 80G 按量 12.98 元。价格差两分钱,显存差 61G,算力差出一个代际。三个数字凑在一起,很多人的直觉是选 H100。
但大模型推理分两个阶段:预填充算完整个提示词,解码一个 token 一个 token 地输出。前者吃算力,后者吃显存带宽。H20 的设计取向正好压在后者上。
今天官网的余卡状态也值得看一眼:H100 与 H200 余量为零,能开机的进口卡只有 H20 141G 的 8 张。所以这不是一个纯理论选择题,而是当下可不可得的问题。
一、今天能开的卡与租完的卡
按 11 月 11 日接口数据,H20 141G 在四川一区余 8 卡,H20 96G 在成都一区 28 卡全部租完。H100 80G 的 96 卡、H200 141G 的 128 卡、H800 的 80 卡、A800 的 48 卡,余量都是零。
容器侧今天还有一批回补。910B 华为三区标准池从 17 卡回到 21 卡,同区 83 折池从 4 卡翻倍到 8 卡,华为二区标准池从 12 卡减到 11 卡,4090 24G 在四川二区从 1 卡回到 4 卡。全平台净增 12 卡。
裸金属这边三天没有变化,16 组机位的价格与机位余量与前两日完全一致。H20 141G 整机在陕西一区余 994 台(总 1000),H20 96G 整机在四川三区余 44 台(总 50)。
这组状态说明一件事:进口高端卡的供给仍然紧,H20 是眼下能规模化开机的进口型号。讨论 H20 与 H100 的分工,前提是先有卡可用。
二、带宽为什么决定解码速度
解码阶段的每一步,都要把模型权重从显存完整读一遍,再算出一个 token。所以单卡解码速度的理论上限,等于显存带宽除以权重体积。
以 70B 模型 FP8 权重 70G 为例。H20 的显存带宽约 4TB 每秒,理论解码上限是 4000 ÷ 70,约 57 tokens 每秒。H100 的带宽约 3.35TB 每秒,上限是 3350 ÷ 70,约 48 tokens 每秒。H200 带宽约 4.8TB 每秒,上限约 69 tokens 每秒。
这个算例解释了为什么 H20 在长文本输出场景不吃亏。算力弱影响的是预填充阶段,也就是首 token 延迟;带宽强影响的是解码阶段,也就是每秒能吐多少字。对话式应用对后者的体感更敏感。
两个阶段的比例可以用输入输出长度估。一轮对话输入 2000 token、输出 500 token,预填充要处理 2000 个 token 的矩阵运算,解码只跑 500 步,但解码每步都要读一遍权重。输入越长、输出越短,越吃算力;输入短、输出长,越吃带宽。
反过来说,预填充重的场景 H100 优势明显。长文档摘要、批量 embedding、一次性喂十万 token 做抽取,这些任务算力是瓶颈,H20 会慢一截。
三、算力维度H20确实弱一档
把算力摊开讲,不能含糊。官网标注 H20 96G 为 148 TFLOPS,H100 80G 为 1979。两个数字差距很大,但口径不同:前者是稠密口径,后者是稀疏口径,直接相除会放大差距。
即便拉平口径,H20 的算力仍明显低于 H100。这来自产品定位,不是配置缩水。H20 把资源换到了显存容量与带宽上,算力做了取舍。
所以「H20 和 H100 哪个好」这个问题本身没有答案,要问的是任务卡在算力还是卡在带宽。训练类任务普遍卡算力,推理类任务在长文本输出时卡带宽。
| 维度 | H20 141G | H100 80G | 判断 |
|---|---|---|---|
| 显存 | 141G | 80G | H20 多 76% |
| 显存带宽 | 约 4TB/s | 约 3.35TB/s | H20 高约 19% |
| 算力(标称) | 148 TFLOPS(稠密) | 1979(稀疏) | 口径不同,H100 更强 |
| 按量价 | 13.00 元/时 | 12.98 元/时 | 基本持平 |
| 包月价 | 8611 元 | 9345 元 | H20 低 7.9% |
| 今日余卡 | 8 | 0 | H20 可开 |
表里有两处要提醒。算力行不是同口径,不能直接比倍数;包月价用的是页面挂牌价,H20 141G 已含 92 折,H100 是标价,实际结算口径以开通页为准。
四、市场定价已经把分工写进去了
第三方基准价能验证这个分工。上海有色网 11 月 10 日算力日评显示,H20 96G 京津冀基准价 7.38 元每卡时,H100 80G 长三角 14.76 元、西部 14.84 元,价差约一倍。
同一天 Mysteel 口径,H20 96G 单卡按需 7.64 元每卡时,H100 80G 19.14 元。两个来源方向一致:市场给 H100 的定价是 H20 的两倍上下。
价差反映的是场景权重。训练与高算力推理愿为 H100 付溢价,长文本服务则更看重显存与带宽,H20 在这块性价比更高。基准价里已经包含这层判断,不需要自己重新发现。
指数层面,11 月 10 日综合指数 17.709 元每卡时,单日回升 1.39%,19 条基准价两日全部持平,交易量指数从 583.179 升到 599.781。报价面在动,合约面没动,这是当前市场的常态。
五、什么任务给H20,什么任务等H100
给 H20 的任务有三类:长文本对话与文档问答,解码占比高、显存需求大;70B 级模型的 FP8 推理,单卡装得下;视频与多模态生成,单帧峰值高。这三类的共同点是显存与带宽优先。
等 H100 的任务也有三类:全参微调与预训练,算力是硬约束;大批量 embedding 与数据清洗,吞吐看算力;超低延迟的首 token 要求,预填充要快。这三类不必为 H20 的显存买单。
混跑时要盯两个指标。首 token 延迟反映预填充能力,解码速率反映带宽能力,两个数分开监控,才能判断该加卡还是该换型号。只看总吞吐容易把瓶颈判断反,加了一倍卡,延迟没降,钱却花了。
混合负载可以拆开跑。训练与批量任务排队等 H100 或走整机长约,在线推理用 H20 顶上,两套环境的镜像与权重保持一致,切换成本最小。
当下 H100 余量为零,选型讨论要落到可交付性上。H20 141G 与 H100 当日余卡在同页面可比,排队周期与交付方式建议直接问商务确认,不要按历史经验估。
常见问题
Q:H20 带宽 4TB 每秒意味着什么?
A:意味着解码阶段的理论速度上限更高。带宽除以权重体积就是每秒 token 数上限,70B FP8 权重下 H20 约 57 tokens 每秒,H100 约 48。实际吞吐低于该值,受批处理与框架效率影响。
Q:H20 和 H100 怎么选?
A:看瓶颈在算力还是带宽。长文本推理、大显存需求选 H20;训练、批量计算、低首 token 延迟选 H100。价格几乎相同的情况下,显存与带宽是 H20 的筹码,算力是 H100 的筹码。
Q:H20 算力只有 H100 的十几分之一吗?
A:不能这样算。官网标注的 148 是稠密口径,1979 是稀疏口径,两者不可直接相除。拉平口径后 H20 仍低于 H100,但差距没有数字表面那么大,具体倍数需按同口径实测。
Q:长文本解码速度能到多少?
A:理论上限由带宽决定,70B FP8 权重下 H20 约 57 tokens 每秒。公开实测里,8 卡 H20-141G 跑 GLM-5.2-FP8 加投机解码,单并发输出达到 171.6 tokens 每秒,说明工程优化能显著超过朴素估算。
对比H20与H100当日状态
进入算力市场相关阅读:
标签:算力租赁平台|H20和H100怎么选|H20带宽4TB每秒|长文本解码|H100算力