选卡的人常有一种直觉:显存大就不会爆显存。公开部署实录给了相反的证据,有团队用8张H20部署GLM-5.3,第一轮启动就把显存利用率设到0.95,并发一上来直接CUDA out of memory。96G的卡会挤爆,141G的卡同样会挤爆,区别只在挤爆的位置不同。

这篇把实测记录里的翻车点、调参次序和KV缓存占用账拆开整理,给准备部署的人一张按图索骥的清单。所有实测数字来自公开技术文章的部署记录,框架版本变化时参数需要重新调。638.png

显存大户也会挤爆,OOM的位置随配置改变

一、OOM的三个真实原因

实测记录里OOM反复出现,归纳下来是三类。其一是预分配策略:框架初始化时申请的buffer和CUDA上下文比预想的多,显存利用率0.95起步就没有余量,调回0.92后稳定。其二是显存碎片:多卡并行时各卡分配不完全均匀,某张卡被临时请求占满后,新请求只能排队等释放,限制单请求token数与并发上限能缓解。其三是残留进程:报OOM之前先查有没有上一轮测试的进程没杀干净,这类低级原因浪费的排查时间不少。

还有一类更容易被误判:nvidia-smi里每张卡都顶着90%以上,看起来像满了,其实是vLLM提前预分配KV缓存的结果,不代表真满载。真正要盯的是metrics接口里的gpu_cache_usage和requests_running两个指标,前者长期接近1.0才是并发吃满了缓存。

二、调参的次序

部署实录给的OOM处理顺序值得照抄。先砍max-model-len,把32768改成8192立刻释放大量KV缓存显存,业务允许时这是省事的办法;再降gpu-memory-utilization或打开swap-space,有时不是显存真的不够,而是预分配太激进;然后检查CUDA Graph,关闭enforce-eager会增加显存占用,大规模部署先关掉更稳。三步都做完仍OOM,说明量化精度与并行配置不匹配,要动模型侧而不是继续拧参数。

参数选择上有两条经验值得记住:gpu-memory-utilization宁小勿大,0.92附近起步,压测后再逐步上抬;max-model-len宁短勿长,32K是常见平衡点,再往上KV缓存线性增长,显存马上吃紧。部署实录的原话是「稳定优先」,上线前先求跑得稳,再求跑得快。637.png

调参次序:先砍上下文,再降利用率,最后查图模式

三、并发与KV的占用账

实测给出了一组直观的KV占用数字,8卡H20 96G、FP16权重、32K上下文:

并发请求数KV缓存占用系统表现
4约35GB轻松,响应快
8约70GB稳定,尾部延迟偶有上升
16约138GB显存吃紧,需配合较短上下文
24约205GB明显超限,OOM风险

对照显存总量更能说明问题:8卡96G合计768GB,FP16权重占约600GB,留给KV的预算只有百G上下,16路并发就已经贴顶。同规模换8卡141G合计1128GB,权重之外多出四百多G余量,同等并发下缓存压力小得多。这就是显存档位差异落到部署上的实际含义:不是能不能跑,是能留多少余量给并发。

四、量化怎么选

显存吃紧时很多人直接切INT4,实测记录提醒了质量风险:日常问答与摘要感知不明显,代码推理和长文档抽取会出现细节丢失。FP8是记录里更推荐的折中,质量损失小,显存占用比BF16省一半,前提是硬件支持FP8加速。量化可以,上线前必须做一轮质量回归,这是实录里反复强调的一条。

另一处经验在多卡通信上。实测发现tensor parallel开到8后速度没有线性提升,排查发现有两张卡之间走的是PCIe而不是NVLink,通信延迟直接翻倍。物理拓扑改不了时,与其强上TP8,不如改成TP4开两个并行组对半分流量,实测反而更稳。MoE模型的负载不均也常见,路由把高频token固定在少数专家上,换SGLang或缩小并行组都有帮助。

五、把监控放在上线之前

部署实录的收尾建议只有一句话:监控绝不能省。显存与吞吐的监控面板接好,gpu_cache_usage和吞吐拐点不用等用户投诉就能看到。实录作者甚至建议生产环境给推理服务加一个凌晨定时重启,换取长周期运行的稳定,这条属于工程经验而非规范要求,是否采纳看各自的SLA。

试跑成本可以算得很轻:H20 141G当前按量10.40元每时,跑一轮部署调参半天成本几十元;跑通了再切包月7020元。当前余量与计费档在算力市场实时报价页随时可查,整机形态的配置单见裸金属整机配置与报价页。

把实测记录里的显存结构再摊开一层。vLLM的显存分配大致分三块:权重、KV缓存、激活值与框架开销。部署者常犯的错误是只算权重就开工,Kimi K3那篇实录给过一组刻在脑子里的数字:2.8T参数FP16要5.6TB、FP8要2.8TB、INT4要1.4TB,32张96G卡合计3TB出头,FP16直接没戏、FP8贴着天花板飞、INT4才有余量。选卡之前先做这道乘法,能避免大半的部署翻车。

并发压测的节奏也有讲究。实录的建议是先跑通再调优:一条最简请求验证服务返回,然后逐档加并发,每档观察gpu_cache_usage与吞吐两个指标,找到吞吐随并发增长的拐点。拐点之前加并发是白赚吞吐,拐点之后加并发只会推高尾部延迟。在线对话与离线批处理的优化方向不同,前者盯首token延迟,后者把并发拉满吃吞吐,同一个服务两套参数。

另一条可复用的经验是prefix caching:多用户共享同一段系统提示词时开启它,重复前缀只算一次,RAG场景收益明显。配合chunked-prefill把长请求切块,避免一个长请求阻塞后面的短请求。这两个开关不增加显存档位成本,属于免费拿的性能,部署清单里应该常驻。

常见问题

Q:KV缓存超限怎么调?

A:按次序来:先缩短max-model-len,再降并发上限或开启chunked-prefill,最后考虑换FP8权重给缓存腾位。metrics里gpu_cache_usage长期接近1.0说明已吃满,只降利用率不解决根因,并发与上下文至少要砍一个。

Q:FP8量化掉点吗?

A:公开部署记录的口径是:FP8质量损失明显小于INT4,显存占用比BF16省一半,是H20这类支持FP8加速的卡上部署300B级模型的推荐折中。INT4在代码推理与长文档抽取上有细节丢失,上线前必须做质量回归,感知不明显不等于没问题。

Q:显存利用率设多少合适?

A:实测从0.95起步OOM,调回0.92后稳定。经验是0.92附近起步,压测确认无碎片后再逐步上抬。H20显存虽大,框架初始化的预留并不小,留出余量比顶格设置稳。

Q:为什么多卡并行速度不涨?

A:先查物理拓扑,nvidia-smi topo -m看是否有卡间走PCIe而非NVLink,走PCIe延迟翻倍。拓扑改不了就别强上TP8,改TP4开两个并行组配合数据并行。MoE模型另有负载不均问题,可换SGLang或检查数据偏斜。

数据来源与时效:OOM 原因归纳、调参次序、KV 占用表、FP8 与 INT4 对比、PCIe 拓扑排查均出自公开技术文章的部署实录(hqwc.cn「8张H20跑GLM-5.3深度实测」、mwwr.cn「8卡H20本地部署GLM-5.3」、lpqz.cn「32张H20部署Kimi K3」,2026 年 11 月),属第三方实测口径,框架与模型版本变化时参数需重新调;价格与余量取自极智算官网 2026-11-18 抓取,以实际下单页面为准;凌晨重启建议属工程经验,非规范要求。

按量试跑一轮再决定

进入算力市场

相关阅读:

标签:算力租赁平台|H20部署|vLLM调优|显存OOM|GPU租赁