部署长上下文服务的团队常见一种翻车:模型权重装进去了,显存看着还有一大块,并发一上、上下文一拉长,服务就报显存不足。问题出在一处被反复算漏的账:KV缓存的总量等于并发数乘以单路上下文占用量,两个变量相乘,只算一个不算满足。

这篇把公开部署配方里的长上下文配置、视频生成的显存边界拆开摆一摆,给选档一个能复算的依据。所有数字出自公开部署记录与模型官方文档,配置变化时需要按自己的模型重算。636.png

每一路请求都在缓存里排队,总量是并发乘单路

一、KV缓存随token数线性涨

先说规律。长上下文把显存切成权重与KV缓存两块,权重固定,KV缓存随token数线性增长。128K上下文相对32K是四倍缓存开销,256K相对128K再翻一倍。增长换来的效果提升常常不成比例,所以先测业务真实需要的上下文长度,再定显存档位,比直接按参数表的大值配卡省得多。

一个常用估算:128K上下文单路约占20G KV缓存。这个量级决定了80G卡与141G卡在长上下文场景里的分野:80G卡装完权重后单卡余量小,长序列的激活峰值容易触顶;141G卡单卡余量宽,128K还有空间给并发。

二、128K的成熟配置

公开部署记录里有一组可以照抄的参数:8卡H20 141G跑GLM系FP8模型,最大上下文131072、张量并行8、最大并发序列16、显存利用率0.9、最大批处理token数32768。8卡合计1128GB显存,FP8权重之外的四百多G分给KV缓存,16路并发乘128K上下文,缓存总量相当可观。同规模用80G卡凑,显存总量少43%,要么降上下文要么降并发,两头总得砍一头。

这份记录里还有一条提升速度的路:开启投机解码后,单并发输出吞吐从71.81 tokens每秒提到171.6 tokens每秒。提升来自草稿模型,与显存容量无关,但它说明141G的余量可以拿来换速度,而不是只用来扩并发。635.png

帧数、分辨率与时序注意力相乘,显存随时长快速上涨

三、256K看官方配方

上下文拉到256K,显存需求按KV缓存线性叠加,翻倍再翻倍。多模态模型Ling-3.0-flash-VL的官方部署文档给了一份推荐:256K上下文配合YaRN外推,建议4张141G级GPU、张量并行4;80G卡要扩到8卡才装得下,且余量较小,文档建议FP8权重并控制上下文长度。

这组配方里有个反直觉的点:4卡141G合计564G,8卡80G合计640G,后者总量更大,却被官方归到更紧的一档。原因是张量并行切分带来额外开销,且每卡余量小、长序列激活峰值容易触顶。长上下文的瓶颈常常落在单卡峰值而不是总量上,这就是大显存档的真实价值:不是总容量更大,是单卡余量更宽。

四、视频生成是另一条边界

视频生成对显存的消耗比文本推理陡得多,帧数、分辨率、时序注意力三者相乘。公开实测数字很直观:单张H20跑某视频模型,5秒片段约121帧,单卡峰值约79G;10秒片段241帧,约92G;20秒片段481帧,约114G。对照96G卡:5秒能跑,10秒贴着上限,20秒直接超出。文档写得很明确,10秒及以上片段单卡显存会超过96G,需要141G版本或多卡。

这条数据把「超大显存」从参数变成了可感知的门槛:做短视频生成,96G档够用;做10秒以上的连续镜头,141G是硬门槛。视频团队用按量档试一轮再定长租,是成本可控的验证路径。

五、选档规则与试跑成本

归纳三条规则。其一,看上下文长度:8K以内的对话与RAG,96G单卡够用;128K级长文档,8卡141G是成熟配置;256K多模态,4卡141G起步。其二,并发与上下文是否同时要:两者相乘才是缓存总量,128K单路约20G,8卡141G理论上支撑二十路上下;降到32K,同样显存能支撑八十路,长上下文与高并发是在同一块显存里分配额度。其三,视频按时长分档:10秒以内96G可跑,10秒以上上141G或多卡。

试跑成本当前可以这样算:H20 141G按量10.40元每时、包天243元,跑一轮128K配置验证一天足够;确认后切包月7020元长期驻留。当前余量与计费档在算力市场实时报价页核对,整机形态与机内互联的说明见裸金属整机配置与报价页。

把选档账再落一个完整算例。假设业务要跑128K上下文、8路并发,单路KV按20G估,缓存总量约160G;模型用FP8权重,以671B级MoE为例权重约670G。合计约830G,8卡141G合计1128G,余量近300G,稳;8卡96G合计768G,直接超限。同一组需求,显存档位差一档,结论从可行变成不可行,这就是先算账后选卡的价值。

上下文与并发的取舍还有一条中间路:YaRN这类外推技术可以用较小的原生上下文外推出更长的窗口,代价是效果与稳定性需要额外验证。用32K原生加外推到128K,缓存开销仍按32K算,省下的显存转给并发。这条路是否可行取决于模型与框架支持,上线前用自己的真实数据回归一轮。

视频生成场景补一个工程细节:生成队列可以让每张卡独立领任务,产出按小时计;单片段等待时间靠序列并行压缩,把一段视频的生成切到多卡上同时算。两种模式显存占用结构不同,前者单卡独立跑完,后者要把中间状态跨卡同步,对机内互联带宽有要求,多卡方案建议在机内NVLink完整的前提下开。

常见问题

Q:长上下文爆显存怎么办?

A:按次序处理:先测业务真实需要的上下文长度,多数应用用不到128K;必须长上下文时,减并发或升显存档位二选一,两者同时要就要按相乘后的缓存总量配卡;再不够就换FP8权重压缩权重占用。核心是把并发乘上下文的账先算对。

Q:视频生成显存不足怎么办?

A:先按时长定档:公开实测里5秒片段单卡约79G,10秒约92G,20秒约114G。96G卡跑10秒以上贴顶或超限,选141G单卡或多卡切分。生成队列任务可以让每张卡独立跑一条流水线,单片段等待时间用序列并行压缩。

Q:为什么8卡80G比4卡141G总量大反而更紧?

A:张量并行把模型切到更多卡上,每卡余量变小,长序列激活峰值容易触顶;且切分带来额外通信开销。官方文档把4卡141G归为推荐配置、8卡80G归为需要压缩上下文的档位,依据是单卡余量而不是总量。

Q:128K真的必要吗?

A:多数业务用不到。上下文不是越长越划算,128K相对32K是四倍缓存开销,效果提升常常不成比例。先用自己的真实数据测出需要的长度,再定档位,这一步省下的显存开销往往超过一档卡费。

数据来源与时效:128K 配置与投机解码吞吐、256K 官方配方、视频生成显存峰值、选档规则均出自公开部署记录与模型官方部署文档(本站第 1064 篇整理口径,原始记录为 2026 年公开资料),属第三方与厂商口径,模型与框架版本变化时需重新验证;价格与余量取自极智算官网 2026-11-18 抓取,以实际下单页面为准;KV 占用估算为常用口径,实际受模型结构、批次大小与序列分布影响。

用按量档验证你的上下文长度

进入算力市场

相关阅读:

标签:算力租赁平台|长上下文|KV缓存|显存选档|GPU租赁