算力租赁平台141G显存能跑什么：128K上下文与视频生成的显存账
H20 141G 这一档显存，值不值 8611 元的包月价，不看参数表，看它能装下什么。141G 是个有意思的容量点：比 80G 卡多出七成，又刚好落在 70B 级模型 FP8 权重的两倍附近。
显存分两块钱用。一块放权重，常驻不动；另一块留给 KV 缓存，随上下文长度与并发数增长。第二块才是长文本与视频生成真正的成本项。
下面用三个已经跑通的场景算账：8 卡 141G 跑 128K 上下文的大模型推理，4 卡 141G 跑 256K 长文本，单卡 141G 跑视频生成。每组数字都有出处，末尾给按场景选档的规则。
一、141G显存能装下多重的模型
先把权重体积算清。参数量乘每参数字节数：FP16 每参数 2 字节，FP8 每参数 1 字节，INT4 每参数 0.5 字节。70B 模型 FP16 约 140G，FP8 约 70G，INT4 约 35G。
141G 单卡装 FP16 的 70B 权重已经到顶，几乎不剩 KV 缓存空间，实际不可服务。换成 FP8 的 70G 权重，还剩约 71G，按框架常见的 0.9 显存利用率上限算，可用约 57G 给 KV 缓存与激活值。
这 57G 能撑多少 token，取决于模型的 KV 结构。以 70B 级 GQA 模型估算，每 token 的 KV 占用约 160KB，57G 大致对应 37 万 token 的缓存容量。这个数是估算，层数、KV 头数、精度不同会显著变化。
| 权重精度 | 70B 权重体积 | 141G 卡剩余 | 可用性 |
|---|---|---|---|
| FP16 | 约 140G | 约 1G | 装得下但无法服务 |
| FP8 | 约 70G | 约 71G | 可服务，KV 余量充裕 |
| INT4 | 约 35G | 约 106G | 可服务，精度需评估 |
结论写在表里：141G 的正确用法是跑 FP8 的 70B，或者跑 FP16 的 32B。想跑 FP16 的 70B，单卡不够，得靠多卡张量并行。
多卡时的账又是另一套算法。以 671B 级 MoE 模型为例，FP8 权重约 670G，8 卡 141G 合计 1128G，剩 458G 给 KV 缓存；8 卡 96G 合计 768G，只剩 98G，并发稍微上来就会触发显存不足。这也是同类模型官方推荐配置里写 141G 卡的原因，余量决定服务能不能稳住。
二、128K上下文：8卡141G的实测配置
公开的部署记录里，有团队在 8 卡 H20-141G 上跑 GLM-5.2-FP8，vLLM 的启动参数写得很具体：最大上下文 131072，张量并行 8，最大并发序列 16，显存利用率 0.9，最大批处理 token 数 32768。
这组参数对应的显存结构是：8 卡合计 1128G，FP8 权重按模型规模占去一部分，剩下的分给 KV 缓存。16 路并发乘 128K 上下文，KV 总量相当可观，普通 80G 八卡机（640G）很难同时满足权重与缓存两项。
同一份记录里还有吞吐对比。开启投机解码后，单并发输出吞吐从 71.81 tokens 每秒提升到 171.6 tokens 每秒。这个提升来自草稿模型，与显存容量无关，但它说明 141G 的余量可以用来换速度。
上下文不是越长越划算。KV 缓存随 token 数线性增长，128K 相对 32K 是四倍缓存开销，换来的效果提升却常常不成比例。先把业务真实需要的上下文长度测出来，再定显存档位，比直接按最大值配卡省得多。
给采购的启示是：要跑 128K 加中等并发，8 卡 141G 是一个能落地的配置。按 8611 元每卡每月算，8 卡月租 68888 元；同规模用 80G 卡凑，显存总量少 43%，要么降上下文，要么降并发。
三、256K长文本：4卡141G的官方配方
上下文再往上走，显存需求不是线性增长，而是按 KV 缓存线性叠加。256K 上下文对显存的要求，等于 128K 的两倍缓存量。
多模态模型 Ling-3.0-flash-VL 的官方部署文档给了一份推荐配方：256K 上下文（YaRN 外推）建议 4 张 141G 级 GPU，张量并行 4；80G 卡要扩到 8 卡才装得下，而且余量最小，建议 FP8 权重并控制上下文长度。
4 卡 141G 合计 564G，8 卡 80G 合计 640G。后者显存总量更大，却被官方归到更紧的一档，原因是张量并行切分会带来额外开销，且每卡余量小，长序列的激活值峰值容易触顶。
这就是大显存档的价值所在：不是总容量更大，而是单卡余量更宽。长上下文推理的瓶颈常常落在单卡峰值上，而不是总量上。
四、视频生成：96G为什么不够
视频生成对显存的消耗比文本推理陡得多。帧数、分辨率、时序注意力三者相乘，显存随时长快速上涨。
公开的实测数据很直观。某视频模型在单张 H20 上跑 5 秒片段（121 帧），每卡峰值显存约 79G；10 秒片段（241 帧）涨到约 92G；20 秒片段（481 帧）到约 114G。
对照 96G 卡：5 秒能跑，10 秒贴着上限，20 秒直接超出。141G 卡则是 20 秒还有余量。文档里写得很清楚，10 秒及以上片段每卡显存都会超过 96G，需要 141G 版本或多卡。
这条数据把「超大显存」从参数变成了可感知的边界：做短视频生成，96G 够用；做 10 秒以上的连续镜头，141G 是硬门槛。按 302 元一天试一轮，比买错卡再换划算。
五、按场景选档的三条规则
规则一看上下文长度。8K 以内的常规对话与 RAG，96G 单卡够用；128K 级长文档，8 卡 141G 是成熟配置；256K 多模态，4 卡 141G 起步。
把两个变量放一起算更直观。128K 上下文单路约占 20G KV 缓存，8 卡 141G 在装完权重后剩四百多 G，理论上能支撑二十路左右；如果把上下文降到 32K，同样显存可以支撑八十路。选长上下文还是选高并发，本质是在同一块显存里分配额度。
规则二看并发与上下文是否同时要。两者相乘才是 KV 缓存总量，只满足一项不算满足。128K 乘 16 路并发的缓存需求，与 8K 乘 200 路是同一个量级。
规则三看单帧或单序列峰值。视频、长语音、超长文档这类任务，峰值决定能不能跑，平均值没有意义。峰值超过 96G 的场景，直接看 141G，不要试图靠调参压到 96G 以内。
三类场景对应的实例都在算力市场里，H20 141G 与 96G 当日余卡可以直接对比。96G 版今日显示已租完，141G 版余 8 卡。
常见问题
Q：141G 显存能跑多大模型？
A：FP8 精度下可跑 70B 级并留约 57G 给 KV 缓存；FP16 精度下 70B 权重约 140G，装得下但无法服务，实际应跑 32B；INT4 的 70B 可以跑，精度损失需按业务评估。
Q：128K 上下文要多少显存？
A：与模型规模、并发数、KV 结构都相关。公开部署记录里，8 卡 141G 跑 GLM-5.2-FP8 开启 131072 上下文与 16 路并发是可行配置。单卡 141G 也可以跑 128K，但并发要压到很低。
Q：96G 跑视频生成够不够？
A：5 秒片段峰值约 79G，96G 够；10 秒约 92G，贴上限；20 秒约 114G，不够。做 10 秒以上连续镜头，应选 141G 或多卡。数据引自公开实测记录，模型与参数不同会有偏差。
Q：多卡一定比单卡好吗？
A：不一定。张量并行有通信开销，卡越多效率损失越明显。能单卡装下的模型优先单卡，装不下再上多卡，且并行度要与平台规格档位对齐。
查141G实例当日余卡
进入算力市场相关阅读：
标签：算力租赁平台｜141G显存能跑多大模型｜128K上下文｜H20 141G｜视频生成显存